全连接（前馈）网络：是指每一层之间没有连接，只是前一层和后一层连接的网络都属于全连接 前馈神经网络。 多层感知器 MLP：是相对于最简单的单个感知器而言，多个感知器串联构成了MLP（Multilayer Perceptron）。 单个感知机： MLP是 多层感知机，是多层的全连接的前馈网络，是而且仅仅是算法结构。输入样本后，样本在MLP在网络中逐层前馈（从输入层到隐藏层到输出层，逐层计算结果，即所谓前馈），得到最终输出值。 但，MLP的各层各神经元的连接系数和偏移量，并非MLP与生俱来的，需要训练和优化才能得到，BP派上. 3.FFN（前馈神经网络）和 MLP（多层感知机）： "FFN" 和 "MLP" 表示前馈神经网络和多层感知机，它们在概念上是相同的。 前馈神经网络是一种最常见的神经网络结构，由多个全连接层组成，层与层之间是前向传播的。 transformer（这里指self-attention） 和 MLP 都是全局感知的方法，那么他们之间的差异在哪里呢？ MLP-Mixer 而MLP-Mixer这篇文章面对MLP计算量太大，参数量太大两大问题，换了一个解决思路。 这个解决思路跟depthwise separable conv是一致的，depthwise separable conv把经典的conv分解为两步，depthwise conv和pointwise conv，这样就降低了经典conv的计算量和参数量。 多层感知机（MLP）神经网络可以用于多分类预测。以下是一个基本的示例，用于使用TensorFlow Keras实现MLP多分类预测：
2.2 方法2：深度神经网络（MLP） 搬出万能近似定理，“一个前馈神经网络如果具有线性输出层和至少一层具有任何一种‘‘挤压’’ 性质的激活函数的隐藏层，只要给予网络足够数量的隐藏单元，它可以以任意的精度来近似任何从一个有限维空间到另一个有限维. mlp之所以经久不衰，就是因为他简单，快速，能scale-up。 KAN让人想起来之前的Neural ODE，催生出来比如LTC（liquid time constant）网络这种宣称19个神经元做自动驾驶。 Transformer整体结构（输入两个单词的例子） 为了能够对Transformer的流程有个大致的了解，我们举一个简单的例子，还是以之前的为例，将法语"Je suis etudiant"翻译成英文。 第一步：获取输入句子的每一个单词的表示向量 ， 由单词的Embedding和单词位置的Embedding 相加得到。
OPEN
