https://blog.gby.ai/tags/%E8%AE%BA%E6%96%87/ Recent content in 论文 on GbyAI Hugo -- gohugo.io zh Content under license [CC BY-NC-SA 4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/) Thu, 06 Feb 2025 00:00:00 +0000 https://blog.gby.ai/a-brief-interpretation-of-deepseek-r1-from-the-perspective-of-aipm/ Thu, 06 Feb 2025 00:00:00 +0000 https://blog.gby.ai/a-brief-interpretation-of-deepseek-r1-from-the-perspective-of-aipm/ 近期，国内大模型公司DeepSeek发布的V3和R1模型引发了广泛关注，甚至被部分媒体称为“国运级创新”。我自己也深度体验了一下确实能力近似追平了 o1，阅读了不少文章，简单说说对产品上的影响，做个记录 一、核心创新：用更少的算力做更多的事 DeepSeek的核心突破在于提升大模型的效率，通过架构优化降低算力需求，这对产品落地成本有直接意义。 1. MLA（多头潜注意力）：压缩计算过程的“内存杀手” 问题：传统模型在生成文本时需反复调用历史数据（KV缓存），占用大量内存和算力。 解决方案：MLA通过数学压缩技术（低秩近似），将历史数据体积缩小至原来的1/4-1/8，同时保持关键信息。类似将高清视频转为压缩文件，既节省存储空间，又能快速解压使用。我的理解像是 comfyui 里面的 latent space 通过降维减少计算量 效果：计算效率提升2-4倍，长文本处理能力更强，适合需要多轮对话的场景（如客服、长文档分析）。 2. MoE（混合专家）架构：让模型“按需调用专家” 传统问题：通用大模型处理所有任务时需激活全部参数，算力浪费严重。 DeepSeek改进： 细粒度专家：将模型拆分为大量小型专家（100+个），每个任务仅调用少数相关专家（类似“分科室会诊”）。 负载均衡：动态调整专家调用频率，避免某些专家被过度使用（如“避免所有病人都挂同一个专家的号”）。 效果：相比传统模型，训练算力节省10倍，推理效率提升4倍以上，尤其适合通用场景（如搜索引擎、多任务助手、类似 ChatGPT 官网），但是并不适用 ToB 方向严重依赖 RAG 的场景 3. 训练框架优化：硬件利用率提升的“幕后功臣” FP8低精度训练：用8位浮点数替代传统16/32位计算，减少显存占用并加速训练（类似用简谱替代五线谱，保留核心信息但更高效）。 通信优化：通过定制化调度策略，减少GPU间的数据传输瓶颈（如优化物流路线，避免堵车）。 成果：万卡集群训练成本降低40%，模型迭代速度显著提升。 4. R1 的训练路径简图 二、对产品落地的实际意义 1. 成本优势 训练成本下降：V3模型的训练算力需求仅为同类模型的1/10，降低企业自研大模型的门槛。 推理成本优化：MoE架构在通用场景下激活参数更少，适合高并发服务（如智能客服）。 2. 场景适配性 To B场景：Dense架构（非MoE 的稠密架构，目前绝大多数模型的架构）在垂直领域仍具优势（如医疗诊断模型），需结合业务需求选择。 To C场景：MoE模型在通用问答、内容生成等场景性价比更高。 3. 长期技术红利 开源生态：R1模型性能接近OpenAI闭源模型，为中小团队提供高质量基座，对于输出质量的提升尤为明显，但是建议蒸馏一些小的开源模型效果会更佳，例如 32b 的 qwen 等 技术复用：MLA、MoE等优化方法可迁移至其他模型，推动行业整体效率提升。 三、澄清市场误读：技术突破≠颠覆生态 1. “打破CUDA垄断”？尚未实现 现实：DeepSeek仍依赖英伟达GPU，其底层优化基于CUDA生态的PTX指令（类似在Windows系统内做优化，而非自研操作系统）。 挑战：国产GPU尚未形成完整开发生态，短期难以替代。 2. “引发英伟达市值大跌”？过度关联 技术视角：MoE是行业常规演进方向，DeepSeek的优化反而验证英伟达GPU的潜力。 市场主因：股价波动更多源于美国政策风险及行业周期调整（算力显卡卖不到中国着急了哈哈） 3. “算力霸权转移”？为时尚早 算力需求仍在增长：模型效率提升会刺激更大规模应用，而非减少需求。 存储瓶颈更关键：未来竞争焦点可能是显存带宽（HBM），而非单纯算力。 四、给 AIPM 的行动建议 关注成本结构变化：MoE模型可降低通用场景的推理成本，在预算规划中预留架构切换空间。 评估场景适配性：To B垂直领域还是优先采用Dense模型，To C通用场景试点MoE。 跟踪开源生态：DeepSeek-R1的开源版本可作为低成本试错工具，快速验证产品需求。 Get your hands dirty 五、聚合一波了解 deepseek 最好的文章、视频、播客 了解渠道分类 地址 视频+文本非技术人员解读（非常推荐非常推荐） https://mp. https://blog.gby.ai/paper/ Thu, 19 Sep 2024 00:00:00 +0000 https://blog.gby.ai/paper/ Transformer：所有 LLM 的始祖，迈向 NLP 新时代的基础架构 论文名称：《Attention is all you need》 发布时间：2017/06/12 发布单位：Google、多伦多大学 小学生概括：传统的序列转换模型使用复杂的循环（RNN）或卷积 (CNN)神经网络，包括编码器和解码器。表现最好的模型会透过注意力机制连接编码器和解码器。 而我们提出了一种新的简单网络结构，Transformer，完全基于注意力机制，不再使用循环和卷积。 Transformer 的特别之处在于它用了一种叫"注意力"的方法来理解语言。这就像人类在读一个句子时，会特别注意某些重要的词一样。 在Transformer出现之前，人工智能处理语言时需要按顺序一个词一个词地读，就像我们从左到右读一句话。但Transformer可以同时看整个句子，这让它更快、更聪明。 论文链接：https://arxiv.org/pdf/1706.03762.pdf 核心技术：模型架构 GPT-1：autoregreesive Transformer 始祖 论文名称：《Improving language understanding by generative pre-training》 发布时间：2018/06/11 发布单位：OpenAI 阅读重点：多层Transformer解码器、自回归模型 小学生概括：想象一下,你正在学习一门新的外语。一开始,你可能会通过大量阅读和听这门语言来熟悉它的结构和用法,这就像论文中说的"生成式预训练"。 在这个阶段,电脑会"阅读"大量的文本,学习语言的基本规则和模式。这就像你在学习新语言时,先大量接触这门语言,了解它的基本结构和常用表达。 接下来,当你想要完成特定的任务时,比如回答问题或写作文,你会针对这些任务进行专门的练习。论文中称这个过程为"判别式微调"。对电脑来说,这就是在完成特定的语言任务时进行额外的训练。 研究人员发现,先让电脑进行大量的"阅读"(预训练),再针对特定任务进行专门训练(微调),效果比直接让电脑学习特定任务要好得多。这就像你先广泛接触一门语言,再专门练习某项技能(如写作或口语),会比直接上手练习特定技能效果更好。 这种方法在很多语言理解任务中都表现出色,比如理解故事情节、回答问题,以及判断句子之间的关系等。研究人员发现,使用这种方法训练出来的通用模型,在多数任务中都比专门为单个任务设计的模型表现得更好。 总的来说,这项研究为让电脑更好地理解和使用人类语言开辟了新的道路,这对于改进各种语言相关的技术,如翻译软件、智能助手等都有重要意义。 链接论文：https://arxiv.org/pdf/1810.03993.pdf 核心技术：有监督微调架构 BERT：autoencoding Transformer 始祖，迈向 NLP fine-tuning 时代 论文名称：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 发布时间：2018/10/11 发布单位：Google 阅读重点：自动编码模型、屏蔽标记和下一句预测。 小学生概括：想象一下,你正在学习一门新的语言。通常情况下,你可能会通过阅读课本,听老师讲解,然后做练习来学习。但是,如果有一种超级厉害的学习方法,可以让你更快更好地掌握这门语言,那会怎么样呢? BERT就像是这样一个"超级学习机器"。它的特别之处在于: 广泛阅读: BERT会"阅读"大量的文章和书籍,就像一个贪婪的读书人一样。 上下文理解: 当BERT看到一个词时,它不只是理解这个词本身,而是会看这个词前后的其他词。这就像你在理解一句话时,不只看一个字,而是看整句话一样。 猜词游戏: BERT会玩一种特殊的"猜词游戏"。它会遮住一些词,然后根据周围的词来猜测被遮住的词是什么。这个游戏帮助BERT更好地理解语言。 预测下一句: BERT还会玩另一个游戏,就是猜两个句子是不是本来就应该挨在一起的。这帮助BERT理解更长的文章结构。 灵活应用: 经过这些"训练"后,BERT就变得非常聪明了。它可以快速地适应各种语言任务,比如回答问题、判断句子之间的关系等。 总的来说,BERT就像一个超级学霸,它通过大量阅读和特殊的学习方法,成为了一个在语言理解方面非常厉害的"机器人"。科学家们可以利用BERT来做很多有趣的事情,比如制作更智能的聊天机器人,或者帮助计算机更好地理解人类的语言。 https://blog.gby.ai/2024-01-agent-paper/ Mon, 05 Feb 2024 00:00:00 +0000 https://blog.gby.ai/2024-01-agent-paper/ 原文 论文地址：arxiv 译文：人工智能 agent 勘测多模态交互的前景 读后感