从代码的角度熟悉nn.Module，跳过苦涩难懂的文档。Module的代码非常简单，比网上各种文档简单多了。
YOLOv5的网络结构展示，结合分析代码实现，使用Netron进行可视化。
第一次认识知识蒸馏是从模型压缩的角度，使用泛化能力更强的大模型（如Resnet-50），蒸馏出一个小模型（Resnet-18），提升小模型的泛化能力。它的思辨和原理是什么，论文《Distilling the Knowledge in a Neural Network》，给出了答案。为了表达出该技术的思辨过程，尽量保留原文意思。
SimCLSv2是对SimCLS的改进，之所以有本文，是因为SimCLSv2文章中的描述更能体现当前半监督学习的一般形式，明确描述了半监督学习的落地策略，如何从大模型指导小模型，提升实际场景的效果。SimCLSv2全称：Big Self-Supervised Models are Strong Semi-Supervised Learners，就是更大更强的自监督学习模型，更优的半监督学习器。
本文介绍了无监督学习相关的A Simple Framework for Contrastive Learning of Visual Representations(SimCLS)，以论文的原始形式排列。SimCLS使用对比学习（Contrastive Learning）来获得图像的视觉表示（Visual Representations），或者说是一种抽象特征。对于Resnet，representation是 average pooling layer 的输出向量。
本文主要对ASL（Asymmetric Loss For Multi-Label Classification）进行了介绍，包括ASL的背景、思路、方法等，顺便对ASL的源码，对照论文进行分析和说明。