深度学习的概念源于人工神经网络的研究，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念首次由Hinton教授于2006年给出，提出非监督贪心逐层训练算法为解决深层结构相关的优化难题带来希望。区别于传统的浅层学习，深度学习强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点，具有优异的特征学习能力，通过学习一种深层非线性网络结构，实现复杂函数逼近，加更多的层次，增强更深入的表示特征，以及更强的函数模拟能力，随着网络的层数增加，每一层对于前一层次的抽象表示更深入。在神经网络中，每一层神经元学习到的是前一层神经元值的更抽象的表示。例如第一个隐藏层学习到的是“边缘”的特征，第二个隐藏层学习到的是由“边缘”组成的“形状”的特征，第三个隐藏层学习到的是由“形状”组成的“图案”的特征，最后的隐藏层学习到的是由“图案”组成的“目标”的特征。

在训练上的难度上，深层神经网络可以通过“逐层初始化”（layer-wise pre-training）来有效克服。明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。