一、基于深度学习的基本原理

深度神经网络仍然是一个神经网络，因此继承了神经网络的一般理论。但由于网络层数深以及每层节点多的特点，产生了海量的网络参数。例如，图2-3-1给出了一张1 000×1 000大小的图像在输入层的表达。其中，左图是将图像中每个像素作为每个人工神经元的输入，因此输入层有106个人工神经元，且将产生1012个连接权重。这对于计算机的存储和计算都是一个非常大的挑战。为了提高网络的学习效率，研究者从视觉感知的机制出发设计了如右图所示的卷积结构。每个神经元只感知图像中10×10的区域，106个神经元各司其职，这样在输入层产生的连接将只有108个，实际储存的权重数目仅有100个，这远远低于全连接的情形。

之后，如图2-3-2所示，和多层神经网络一样，将上述的卷积过程串联成一个深度结构，形成一个深度神经网络构架。进一步，通过误差的反向传播对网络的海量连接权重和阈值等网络参数进行优化，从而确定一个能够最优描述输入与目标输出间映射关系的物理模型。