书:pan.baidu.com/s/151xVguoGwyBrGk5X9ygFKg?pwd=3l6c
- 人工神经网络（ANN）：深度学习的基础，包含输入层、隐藏层和输出层。每一层由多个神经元构成，每个神经元接收前一层的输入并通过激活函数输出结果。神经网络的目标是通过调整权重和偏置，使得网络的预测尽可能接近真实值。
- 卷积神经网络（CNN）：专门用于处理图像数据的深度学习模型。CNN的基本结构包括卷积层、池化层和全连接层。卷积层通过卷积操作提取图像的局部特征，池化层通过最大池化或平均池化减少数据维度，全连接层将特征映射到最终的输出。CNN在图像分类、目标检测、语义分割等图像处理任务中表现出色。
- 循环神经网络（RNN）：处理序列数据的深度学习算法，例如时间序列数据和自然语言。RNN通过将前一个时间步长的隐藏状态输入到当前时间步长，从而捕捉序列数据中的时间依赖性。然而，标准的RNN存在梯度消失或爆炸的问题。
- 长短时记忆网络（LSTM）：RNN的改进版本，引入了“门控机制”来保持信息，从而解决了标准RNN的梯度消失或爆炸问题。LSTM在股市预测、天气预测、语言建模、机器翻译和文本生成等任务中得到广泛应用。
- 反向传播算法：深度学习的基石，它通过调整网络权重以最小化损失函数（或目标函数）来学习和优化神经网络。该算法基于梯度下降方法，通过反向传播误差来更新网络的权重和偏置。
- Softmax回归：用于多分类问题的深度学习算法。它通过将输出单元的原始分数缩放为概率分布，从而对多个类别进行分类。Softmax回归在图像分类、文本分类和语音识别等领域得到了广泛应用。
- 支持向量机（SVM）：一种有监督学习算法，主要用于分类和回归问题。SVM通过找到一个超平面，将不同类别的数据分隔开，从而进行分类。SVM在小样本数据集上表现优异，且能够处理非线性问题。
- 深度神经网络（DNN）：也叫多层感知机，是最普遍的深度学习算法。DNN通过构建多层隐藏层，使用非线性激活函数将输入数据转换为更具表现力的特征表示。DNN凭借其强大的特征学习和表示能力，能够有效学习输入数据的复杂特征，并精确捕捉非线性关系。
- 残差网络（ResNet）：通过独特设计的“残差块”，攻克了深度神经网络所面临的梯度消失与模型退化两大难题。残差块巧妙地融合了“跳跃连接”与多个非线性层，使梯度得以顺畅地从深层反向传递至浅层，显著提升了深度网络的训练效果。
- 优化器：深度学习中用于调整模型参数以最小化损失函数的算法。常见的优化器包括随机梯度下降（SGD）、Adam和RMSProp等。优化器通过调整学习率和步长等参数，帮助模型更快地收敛到最优解。
这些关键技术共同推动了深度学习的发展，使其在多个领域取得了显著的进展和突破。随着算法和模型的不断改进、计算能力的提升以及数据量的增长，深度学习的应用范围将继续扩大，对各行各业产生深远的影响。