而DeepSeek就是用自己的这个DeepSeek-R1的671B的大模型当作教师模型来训更小的llama和Qwen等“学生”模型。 对“蒸馏”想深入了解的话，可以看这篇综述： 看上去像是Ollama是对llama.cpp的封装和添加了很多内容，Ollama底层是llama.cpp吗？ llama真是吊死在DPO上了...新架构infra，长上下文，Reasoning RL，工程性coding可能还是大家今年的主攻方向。 移步转眼，时间快来到了2025年中旬，Openai，Anthropic，Deepseek的大模型都憋着劲还没发，要一飞冲天，未来几个月想必会非常热闹。 Final复习中 有一门课叫做introduction to livestock 它的final包括三部分 其中part1是breed identification 有Camelids。 Camelids主要包括 双峰驼 单峰驼 原驼 美洲驼 羊驼 小羊驼 骆驼camel包括双峰驼bactrian camel和单峰驼dromedary camel 这个很好理解了 美洲驼llama和羊驼alpaca的区别总的来说还是很大的。llama体型更大 耳朵是. 3. 还有一点，ollama是llama.cpp实现模型推理，模型小，速度快。 4. 还有，ollama提供11434端口的web服务，重要的是还兼容openai的端点接口，可以和各种前端配合，比如ollama自己open webui，国产的chatbox，连后端带界面，一套搞定 Qwen靠美金就可以，并不是靠技术创新（看模型结构基本没咋变，和llama比难有优势），而且结果只是打榜，经不住真实用户拷打，R1是能经受美国佬的考验，且把NV股价干掉18%，折合好几个阿里巴巴，都不用吹，另外Deepseek目前160多个国家 appstore top1，且歪果仁在X.
Llama系列模型 的预训练中文语料占比相对来说低了很多，说是不支持，实际上我对Llama 3.1测试下来中文的对话和推理能力还可以。 -LLAMA-3分为大中小三个版本，小模型参数规模8B，效果比Mistral 7B/Gemma 7B略好基本持平；中等模型参数规模70B，目前效果介于ChatGPT 3.5到GPT 4之间；大模型400B，仍在训练过程中，设计目标是多模态、多语言版本的，估计效果应与GPT 4/GPT 4V基本持平，否则估计Meta也.
OPEN
