参考资料
- 📚 lecture6 课件，介绍了各种优化器算法和参数初始化方法
- 📚 介绍矩阵二次型的知识
- 📚 用图像解释了梯度下降的过程
- 📚 牛顿法在二维下求零点的图像演示和公式推导
- 📚 介绍矩的概念
- 📚 介绍了范数的概念
- 📚 介绍了 Kaiming 初始化公式推导
- 📚 lecture7 课件，介绍了深度学习核心组件和框架设计演变
- 📚 lecture8 课件，介绍了正则化、Dropout等技术
- 📄 层归一化论文
- 📀 视频详细解释了自由度为什么是
n-1
- 📚 批归一化原理
Weight Initialization 🟢
Key questions for fully connected networks
参数初始化
公式理解
代码实现
Modules ⭐️