https://blog.gby.ai/tags/%E5%A4%A7%E6%A8%A1%E5%9E%8B/ Recent content in 大模型 on GbyAI Hugo -- gohugo.io zh Content under license [CC BY-NC-SA 4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/) Thu, 06 Feb 2025 00:00:00 +0000 https://blog.gby.ai/a-brief-interpretation-of-deepseek-r1-from-the-perspective-of-aipm/ Thu, 06 Feb 2025 00:00:00 +0000 https://blog.gby.ai/a-brief-interpretation-of-deepseek-r1-from-the-perspective-of-aipm/ 近期，国内大模型公司DeepSeek发布的V3和R1模型引发了广泛关注，甚至被部分媒体称为“国运级创新”。我自己也深度体验了一下确实能力近似追平了 o1，阅读了不少文章，简单说说对产品上的影响，做个记录 一、核心创新：用更少的算力做更多的事 DeepSeek的核心突破在于提升大模型的效率，通过架构优化降低算力需求，这对产品落地成本有直接意义。 1. MLA（多头潜注意力）：压缩计算过程的“内存杀手” 问题：传统模型在生成文本时需反复调用历史数据（KV缓存），占用大量内存和算力。 解决方案：MLA通过数学压缩技术（低秩近似），将历史数据体积缩小至原来的1/4-1/8，同时保持关键信息。类似将高清视频转为压缩文件，既节省存储空间，又能快速解压使用。我的理解像是 comfyui 里面的 latent space 通过降维减少计算量 效果：计算效率提升2-4倍，长文本处理能力更强，适合需要多轮对话的场景（如客服、长文档分析）。 2. MoE（混合专家）架构：让模型“按需调用专家” 传统问题：通用大模型处理所有任务时需激活全部参数，算力浪费严重。 DeepSeek改进： 细粒度专家：将模型拆分为大量小型专家（100+个），每个任务仅调用少数相关专家（类似“分科室会诊”）。 负载均衡：动态调整专家调用频率，避免某些专家被过度使用（如“避免所有病人都挂同一个专家的号”）。 效果：相比传统模型，训练算力节省10倍，推理效率提升4倍以上，尤其适合通用场景（如搜索引擎、多任务助手、类似 ChatGPT 官网），但是并不适用 ToB 方向严重依赖 RAG 的场景 3. 训练框架优化：硬件利用率提升的“幕后功臣” FP8低精度训练：用8位浮点数替代传统16/32位计算，减少显存占用并加速训练（类似用简谱替代五线谱，保留核心信息但更高效）。 通信优化：通过定制化调度策略，减少GPU间的数据传输瓶颈（如优化物流路线，避免堵车）。 成果：万卡集群训练成本降低40%，模型迭代速度显著提升。 4. R1 的训练路径简图 二、对产品落地的实际意义 1. 成本优势 训练成本下降：V3模型的训练算力需求仅为同类模型的1/10，降低企业自研大模型的门槛。 推理成本优化：MoE架构在通用场景下激活参数更少，适合高并发服务（如智能客服）。 2. 场景适配性 To B场景：Dense架构（非MoE 的稠密架构，目前绝大多数模型的架构）在垂直领域仍具优势（如医疗诊断模型），需结合业务需求选择。 To C场景：MoE模型在通用问答、内容生成等场景性价比更高。 3. 长期技术红利 开源生态：R1模型性能接近OpenAI闭源模型，为中小团队提供高质量基座，对于输出质量的提升尤为明显，但是建议蒸馏一些小的开源模型效果会更佳，例如 32b 的 qwen 等 技术复用：MLA、MoE等优化方法可迁移至其他模型，推动行业整体效率提升。 三、澄清市场误读：技术突破≠颠覆生态 1. “打破CUDA垄断”？尚未实现 现实：DeepSeek仍依赖英伟达GPU，其底层优化基于CUDA生态的PTX指令（类似在Windows系统内做优化，而非自研操作系统）。 挑战：国产GPU尚未形成完整开发生态，短期难以替代。 2. “引发英伟达市值大跌”？过度关联 技术视角：MoE是行业常规演进方向，DeepSeek的优化反而验证英伟达GPU的潜力。 市场主因：股价波动更多源于美国政策风险及行业周期调整（算力显卡卖不到中国着急了哈哈） 3. “算力霸权转移”？为时尚早 算力需求仍在增长：模型效率提升会刺激更大规模应用，而非减少需求。 存储瓶颈更关键：未来竞争焦点可能是显存带宽（HBM），而非单纯算力。 四、给 AIPM 的行动建议 关注成本结构变化：MoE模型可降低通用场景的推理成本，在预算规划中预留架构切换空间。 评估场景适配性：To B垂直领域还是优先采用Dense模型，To C通用场景试点MoE。 跟踪开源生态：DeepSeek-R1的开源版本可作为低成本试错工具，快速验证产品需求。 Get your hands dirty 五、聚合一波了解 deepseek 最好的文章、视频、播客 了解渠道分类 地址 视频+文本非技术人员解读（非常推荐非常推荐） https://mp. https://blog.gby.ai/creating-a-llm-as-a-judge/ Thu, 31 Oct 2024 00:00:00 +0000 https://blog.gby.ai/creating-a-llm-as-a-judge/ 简直说到我的心巴坎去了，从我做智能客服开始的时候就不止 N 次，要求团队增加一个专业的医美客服来全程跟！ Hamel Husain 这篇内容真的很好，全是实践经验。 介绍如何帮助模型团队避免被各种指标淹没。 据我观察他说的这些问题国内模型训练团队也都有： 创建大量难以管理的指标 非常随意的评分标准 忽视领域专家意见 指标不能反映对用户或业务需求 重要观点 真正的价值在于数据分析过程, 而不是评判器本身 简单的 Pass/Fail 比复杂评分系统更有效 过程是迭代的, 需要定期重复或在重大变更时执行 不能完全消除人工介入, 但可以减少所需工作量 实施建议 不要跳过数据检查步骤 让专家评审过程尽可能简单从简单开始, 需要时再增加复杂度 保持评判标准的一致性 关注业务目标而非技术指标 常见误区 过早使用复杂评分系统 忽视领域专家意见 过分依赖现成的评估框架 期望完全消除人工介入 原文地址： https://hamel.dev/blog/posts/llm-judge/ https://blog.gby.ai/paper/ Thu, 19 Sep 2024 00:00:00 +0000 https://blog.gby.ai/paper/ Transformer：所有 LLM 的始祖，迈向 NLP 新时代的基础架构 论文名称：《Attention is all you need》 发布时间：2017/06/12 发布单位：Google、多伦多大学 小学生概括：传统的序列转换模型使用复杂的循环（RNN）或卷积 (CNN)神经网络，包括编码器和解码器。表现最好的模型会透过注意力机制连接编码器和解码器。 而我们提出了一种新的简单网络结构，Transformer，完全基于注意力机制，不再使用循环和卷积。 Transformer 的特别之处在于它用了一种叫"注意力"的方法来理解语言。这就像人类在读一个句子时，会特别注意某些重要的词一样。 在Transformer出现之前，人工智能处理语言时需要按顺序一个词一个词地读，就像我们从左到右读一句话。但Transformer可以同时看整个句子，这让它更快、更聪明。 论文链接：https://arxiv.org/pdf/1706.03762.pdf 核心技术：模型架构 GPT-1：autoregreesive Transformer 始祖 论文名称：《Improving language understanding by generative pre-training》 发布时间：2018/06/11 发布单位：OpenAI 阅读重点：多层Transformer解码器、自回归模型 小学生概括：想象一下,你正在学习一门新的外语。一开始,你可能会通过大量阅读和听这门语言来熟悉它的结构和用法,这就像论文中说的"生成式预训练"。 在这个阶段,电脑会"阅读"大量的文本,学习语言的基本规则和模式。这就像你在学习新语言时,先大量接触这门语言,了解它的基本结构和常用表达。 接下来,当你想要完成特定的任务时,比如回答问题或写作文,你会针对这些任务进行专门的练习。论文中称这个过程为"判别式微调"。对电脑来说,这就是在完成特定的语言任务时进行额外的训练。 研究人员发现,先让电脑进行大量的"阅读"(预训练),再针对特定任务进行专门训练(微调),效果比直接让电脑学习特定任务要好得多。这就像你先广泛接触一门语言,再专门练习某项技能(如写作或口语),会比直接上手练习特定技能效果更好。 这种方法在很多语言理解任务中都表现出色,比如理解故事情节、回答问题,以及判断句子之间的关系等。研究人员发现,使用这种方法训练出来的通用模型,在多数任务中都比专门为单个任务设计的模型表现得更好。 总的来说,这项研究为让电脑更好地理解和使用人类语言开辟了新的道路,这对于改进各种语言相关的技术,如翻译软件、智能助手等都有重要意义。 链接论文：https://arxiv.org/pdf/1810.03993.pdf 核心技术：有监督微调架构 BERT：autoencoding Transformer 始祖，迈向 NLP fine-tuning 时代 论文名称：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 发布时间：2018/10/11 发布单位：Google 阅读重点：自动编码模型、屏蔽标记和下一句预测。 小学生概括：想象一下,你正在学习一门新的语言。通常情况下,你可能会通过阅读课本,听老师讲解,然后做练习来学习。但是,如果有一种超级厉害的学习方法,可以让你更快更好地掌握这门语言,那会怎么样呢? BERT就像是这样一个"超级学习机器"。它的特别之处在于: 广泛阅读: BERT会"阅读"大量的文章和书籍,就像一个贪婪的读书人一样。 上下文理解: 当BERT看到一个词时,它不只是理解这个词本身,而是会看这个词前后的其他词。这就像你在理解一句话时,不只看一个字,而是看整句话一样。 猜词游戏: BERT会玩一种特殊的"猜词游戏"。它会遮住一些词,然后根据周围的词来猜测被遮住的词是什么。这个游戏帮助BERT更好地理解语言。 预测下一句: BERT还会玩另一个游戏,就是猜两个句子是不是本来就应该挨在一起的。这帮助BERT理解更长的文章结构。 灵活应用: 经过这些"训练"后,BERT就变得非常聪明了。它可以快速地适应各种语言任务,比如回答问题、判断句子之间的关系等。 总的来说,BERT就像一个超级学霸,它通过大量阅读和特殊的学习方法,成为了一个在语言理解方面非常厉害的"机器人"。科学家们可以利用BERT来做很多有趣的事情,比如制作更智能的聊天机器人,或者帮助计算机更好地理解人类的语言。 https://blog.gby.ai/o1/ Sat, 14 Sep 2024 00:00:00 +0000 https://blog.gby.ai/o1/ 看过一些 o1 的文章介绍之后的感想&总结： 一、预训练 Scaling Law 正式翻篇，推理 Scaling Law （Self-play RL）正式开始，所以推理时间久，而且刚开始就具备博士级别的能力 二、Prompt 编写范式变化：简单、层次清晰，但能力更强。这点结合群友刚哥的 Claude 提示词卡片就可以看出，将是未来提示词最大的发展趋势了。 Prompt 编写范式变化 1. 新的 O1 内置 Agent 和 CoT，可以判断思考结果是正确还是错误，所以无需人工添加 CoT O1 擅长提供清晰的指令，更少的 Prompt 和 RAG 上下文解决问题，可以使用 xml、lisp 等语言分隔让层次更清晰 很多需要分解为多步 Agentic Workflow 的，目前可能一个 API 搞定 三、推理（数学+编程）革命性突破，文字创作可能更差 推理能力提升带来的范式变化 可解决复杂的数学问题或者多步依赖条件问题，因为能判断结果正误，比如微信数字生命卡兹克给出的例子「调休例子」、「奥数题」 https://mp.weixin.qq.com/s/edpeHU_q6I4BPmHE2-daIQ… 逻辑创作能力：比如海龟汤问题，需要逻辑判断来撰写故事，这类问题能很好的解决，悬疑故事新解？!🤔 推理时间带来产品设计的思考 目前 O 1 Preview 回答一个问题大概需要思考 15～2 分钟，意味着场景从实时 Copilot/Chatbot 场景抽离出来，可能迈向更多异步、或者本身就是很难的多步复杂任务处理（用户愿意付更多钱） 四、OpenAI 公布的研究很少，但是社区已经有一些有意思的工作与论文 研究推理阶段的 Scaling Law https://arxiv.org/abs/2407.21787v1… Q* 灵感：https://arxiv.org/abs/2403.09629 LLM 推理：https://arxiv.org/html/2403.04121v1… 更多的推理计算 https://arxiv.org/abs/2408.00724 \ Alpha 蒙特卡洛搜索 https://arxiv. https://blog.gby.ai/toc-partner/ Fri, 08 Mar 2024 00:00:00 +0000 https://blog.gby.ai/toc-partner/ 持续更新中... 文字后续补充 一、产品框架脑图 区别于目前 ToB 智能客服： 意图识别需要更为精细，涵盖范围更广 增加调用工具模块，包括但不限于多模态介入、输出 记忆能力 实时搜素 二、功能架构图 三、业务流程图 SOP 四、功能详述 Ⅰ. 企微部分 公众号： 增加菜单 私人医美伴侣 角色选择（内置）: 点击进入落地页，展示不同人设的企微个人微信二维码 提供不同的捏人选择 添加好友 触发介绍语 存储用户唯一标识 企业微信接口对接 账号：需企微公司账号 服务商后台：https://open.work.weixin.qq.com/wwopen/developer#/sass/apps/list 注意！需要实现企微个人号，目前咨询企微内部人员并未开通企微个人号收发消息接（一期如果企微个人号暂时无法实现，可用微信个人号暂时代替，目标为打通整体流程，但是个人号封号风险较高） 自研调研： https://github.com/cheungchazz/WeChat-AIChatbot-WinOnly?tab=readme-ov-file https://wechaty.readthedocs.io/zh-cn/latest/ https://github.com/wechaty/wechaty#readme https://github.com/wechaty/puppet-padlocal 官方discard ：https://discord.gg/72VjQGzm https://github.com/leochen-g/wechat-assistant-pro?tab=readme-ov-file 第三方采买： 集简云AI智能销售/客户服务/内部咨询解决方案 LinkAI Ⅱ. 微信交互 用户输入发送内容 文字：支持 链接url：支持 语音：支持 图片：支持 前置回复：“嗯嗯 好漂亮啊，我能测脸型、发型、眼型、颜值、皮肤、眉形，还能模拟整形和 美妆模拟，所以你想测测啥😁” 用户回复内容判断意图识别调用不同的图像能力 tools 文件（Word、Pdf、Excel）：一期不支持 视频：一期不支持 其他：一期不支持 输出内容 拆分回复 多模态回复 语音回复调研 https://github.com/RVC-Boss/GPT-SoVITS/blob/main/docs/cn/README.md 粘性追问 延迟等待 3s 统一进行回复 每日主动推送，以下内容随机推送一条 功能推荐消息 拟人话术举例： "嘿，跟你说个事儿 你发我一个正面照片儿 我能帮你检测检测皮肤奥" 。基于以上的内容，需保证询问的随机性 了解用户消息 https://blog.gby.ai/long-context/ Thu, 07 Mar 2024 00:00:00 +0000 https://blog.gby.ai/long-context/ 最近发布的 claude 3 支持 200 k 的上下文，简单回顾了一下到 2024 年 3 月 7 号为止超过 100 k 上下文窗口的大模型。 模型名 最大上下文 大海捞针通过率 Claude 3 系列 100-200 K >99% Claude 2.1 200 K >50% GPT 4 128 K >95% Yi-34B 200 K 无 Baichuan 2 200 K >90% ChatGLM 4 192 K >99% kimi chat 192 K >99% XVERSE-Long 256 K 无 InternLM 200 K 无 Gemini 100 K 无 长上下文带来的益处 模型性能的提升 大型语言模型的上下文窗口扩大到200K tokens，意味着模型可以在单个输入中处理更长的文本。这对于理解长篇文章、书籍、编写更长的内容或进行深入的话题分析具有显著优势。模型能够捕捉到更长文本中的细微联系和结构，从而提高了语言理解和生成的质量。 应用场景的扩展