小化大

时间:2026年02月05日 11:23:44

深度学习模型优化-第3篇-金锄头文库

2024年1月6日 - 知识蒸馏的原理1.知识蒸馏是通过最小化大模型和小模型之间的输出差异来进行训练的。2.知识蒸馏采用了温度调整的方法,将大模型的输出转化为软概率分布,...