https://blog.gby.ai/tags/o1/ Recent content in o1 on GbyAI Hugo -- gohugo.io zh Content under license [CC BY-NC-SA 4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/) Sat, 14 Sep 2024 00:00:00 +0000 https://blog.gby.ai/o1/ Sat, 14 Sep 2024 00:00:00 +0000 https://blog.gby.ai/o1/ 看过一些 o1 的文章介绍之后的感想&总结： 一、预训练 Scaling Law 正式翻篇，推理 Scaling Law （Self-play RL）正式开始，所以推理时间久，而且刚开始就具备博士级别的能力 二、Prompt 编写范式变化：简单、层次清晰，但能力更强。这点结合群友刚哥的 Claude 提示词卡片就可以看出，将是未来提示词最大的发展趋势了。 Prompt 编写范式变化 1. 新的 O1 内置 Agent 和 CoT，可以判断思考结果是正确还是错误，所以无需人工添加 CoT O1 擅长提供清晰的指令，更少的 Prompt 和 RAG 上下文解决问题，可以使用 xml、lisp 等语言分隔让层次更清晰 很多需要分解为多步 Agentic Workflow 的，目前可能一个 API 搞定 三、推理（数学+编程）革命性突破，文字创作可能更差 推理能力提升带来的范式变化 可解决复杂的数学问题或者多步依赖条件问题，因为能判断结果正误，比如微信数字生命卡兹克给出的例子「调休例子」、「奥数题」 https://mp.weixin.qq.com/s/edpeHU_q6I4BPmHE2-daIQ… 逻辑创作能力：比如海龟汤问题，需要逻辑判断来撰写故事，这类问题能很好的解决，悬疑故事新解？!🤔 推理时间带来产品设计的思考 目前 O 1 Preview 回答一个问题大概需要思考 15～2 分钟，意味着场景从实时 Copilot/Chatbot 场景抽离出来，可能迈向更多异步、或者本身就是很难的多步复杂任务处理（用户愿意付更多钱） 四、OpenAI 公布的研究很少，但是社区已经有一些有意思的工作与论文 研究推理阶段的 Scaling Law https://arxiv.org/abs/2407.21787v1… Q* 灵感：https://arxiv.org/abs/2403.09629 LLM 推理：https://arxiv.org/html/2403.04121v1… 更多的推理计算 https://arxiv.org/abs/2408.00724 \ Alpha 蒙特卡洛搜索 https://arxiv.