第一次认识知识蒸馏是从模型压缩的角度,使用泛化能力更强的大模型(如Resnet-50),蒸馏出一个小模型(Resnet-18),提升小模型的泛化能力。它的思辨和原理是什么,论文《Distilling the Knowledge in a Neural Network》,给出了答案。为了表达出该技术的思辨过程,尽量保留原文意思。
SimCLSv2是对SimCLS的改进,之所以有本文,是因为SimCLSv2文章中的描述更能体现当前半监督学习的一般形式,明确描述了半监督学习的落地策略,如何从大模型指导小模型,提升实际场景的效果。SimCLSv2全称:Big Self-Supervised Models are Strong Semi-Supervised Learners,就是更大更强的自监督学习模型,更优的半监督学习器。
本文介绍了无监督学习相关的A Simple Framework for Contrastive Learning of Visual Representations(SimCLS),以论文的原始形式排列。SimCLS使用对比学习(Contrastive Learning)来获得图像的视觉表示(Visual Representations),或者说是一种抽象特征。对于Resnet,representation是 average pooling layer 的输出向量。
本文主要对ASL(Asymmetric Loss For Multi-Label Classification)进行了介绍,包括ASL的背景、思路、方法等,顺便对ASL的源码,对照论文进行分析和说明。
本文介绍了Deep High-Resolution Representation Learning for Human Pose Estimation的一些基础内容。
这个姿势估计算法源自Simple Baselines,两者在这统称 SimplePose.
本文简要对SimplePose的原理和网络结构点到为止,主要记录了官方实现框架的基本结构、Bug、使用和改造技巧,并附带了一些姿势估计的基础内容。
本文介绍了FreeRTOS队列的创建、发送和阻塞接收的过程和原理,以及基于队列实现的其它系统功能。