全连接（前馈）网络：是指每一层之间没有连接，只是前一层和后一层连接的网络都属于全连接 前馈神经网络。 多层感知器 MLP：是相对于最简单的单个感知器而言，多个感知器串联构成了MLP（Multilayer Perceptron）。 单个感知机： MLP是 多层感知机，是多层的全连接的前馈网络，是而且仅仅是算法结构。输入样本后，样本在MLP在网络中逐层前馈（从输入层到隐藏层到输出层，逐层计算结果，即所谓前馈），得到最终输出值。 但，MLP的各层各神经元的连接系数和偏移量，并非MLP与生俱来的，需要训练和优化才能得到，BP派上. 3.FFN（前馈神经网络）和 MLP（多层感知机）： "FFN" 和 "MLP" 表示前馈神经网络和多层感知机，它们在概念上是相同的。 前馈神经网络是一种最常见的神经网络结构，由多个全连接层组成，层与层之间是前向传播的。 mlp之所以经久不衰，就是因为他简单，快速，能scale-up。 KAN让人想起来之前的Neural ODE，催生出来比如LTC（liquid time constant）网络这种宣称19个神经元做自动驾驶。 transformer（这里指self-attention） 和 MLP 都是全局感知的方法，那么他们之间的差异在哪里呢？ 多层感知机（MLP）神经网络可以用于多分类预测。以下是一个基本的示例，用于使用TensorFlow Keras实现MLP多分类预测：
MLP-Mixer 而MLP-Mixer这篇文章面对MLP计算量太大，参数量太大两大问题，换了一个解决思路。 这个解决思路跟depthwise separable conv是一致的，depthwise separable conv把经典的conv分解为两步，depthwise conv和pointwise conv，这样就降低了经典conv的计算量和参数量。 Transformer整体结构（输入两个单词的例子） 为了能够对Transformer的流程有个大致的了解，我们举一个简单的例子，还是以之前的为例，将法语"Je suis etudiant"翻译成英文。 第一步：获取输入句子的每一个单词的表示向量 ， 由单词的Embedding和单词位置的Embedding 相加得到。 社群中多才多艺，包括擅长英语、绘画、视频制作等方面的人才 定期会举办线下活动如马展，展现良好的社群氛围 建议优先考虑BiliBili潮汐字幕组的版本，因其双语字幕质量较高且观看方便。 如需纯英文资源，可尝试yayponies网站或MLP Fandom维基。
OPEN
