光の技术屋

近期笔者因为参与LLM增强项目攻坚，对LLM工程相关的技术也希望有一定的了解，因此希望借这个机会，读一些文章充电，看看目前LLM智能化工程的一些研究趋势。在阅读了几篇文章之后，最终读者选定AgentFlow这个项目做代码实现分析。由于笔者在算法方面的涉猎实在不深，所以本文只是抛砖引玉，阐述上有什么不专业不严谨的地方，也辛苦大家指正。

AgentFlow主要解决现有LLM在进行工具增强推理时有可扩展和泛化能力差的问题，简单来说就是在线LLM-Agent服务缺乏在生产环境中RL（强化学习）的手段。所以AgentFlow提出了以下的解决方案，一是一套动态训练Planner的编排，另外一个是一套奖励目标训练算法Flow-GRPO。源码可以通过这个GitHub来下载，跑了一番看Agent编排的实现比较完整，但在线服务跟训练的部署执行会比较难搞，所以本文更倾向于对Agent编排做详细阐述。

Agent编排包含Planner、Executor、Verifier跟Generator四个角色，Planner会不断Rollout判断下一步要做什么，Executor执行ToolCall，Verifier判断当前问题是否解决，Generator负责整合Output。整个核心代码集中在Solver.solve，长这个样子：

作为国内表现上比较agentic的开发工具之一，trae项目开源了自家trae-agent开发工具，整体也有一段时间了。借着日常闲暇的机会，笔者计划研究下trae-agent的代码实现，看下这个本地AI开发辅助工具是如何运作的。

从开源项目的角度，trae-agent给的文档信息是比较充足的，但代码实现上只能说是MVP版本，只有一些基础功能。当然这个也可以理解，相信实际生产用的trae-agent会远比这个实现更加复杂，以及不可能所有人力都投入到开源项目的建设中。所以今天就简单看看这个项目的主流程。

在Game-Of-AutoTest系列的文章当中，曾经深入聊到如何做好游戏自动化测试的技术实践，包括用例编写和任务调度等多个方面。由于工作原因，笔者再一次需要了解自动化测试平台的整体架构，因此也借着这个机会，从更加宏观的角度，再聊一下自动化平台架构设计的一些通用要点。

十一国庆正是充电的好时机，借着假期时间充裕，笔者又浅调研了一下本地LLM开发相关的工具链，看下如果是日常业余搞个人LLM的Agent项目，具体有哪些能力可用。工业界的话，因为知识保密性等各种原因，我们可能会用到兄弟部门的LLM模型或者相关Agent能力，以及市面上收费但企业内部免费的一些技术基建。但如果是个人搞LLM应用开发，就更加倾向于看有没有低成本甚至免费的办法去做本地研发了。

基于这个目的，经过一番调研实操，发现只需要一个Agent开发框架加上模型Provider就能解决问题。因此本文就介绍一下，以Agent开发框架Eino，加上Ollama这个模型Provider，如何能够低成本研发LLM的Agent。针对这个主题，虽然以前也写过用Coze开源版研发的Case，但Coze本身作为一套工业界产品基建，直接拿它工作还是比较重的，本文暂且只讨论一些比较轻量的事情。

在三年前笔者撰写的Game-Of-AutoTest专栏当中，聊了很多关于游戏自动化测试的实践思考。不论是对自动化测试在技术层面的认识，还是怎么落地一些技术基建保障游戏自动化测试的可扩展性，在这些专栏里都已经做了深度的科普。近年来，LLM在自然语言处理领域取得了突破性进展，并且随着游戏开发的复杂度不断提升，自动化测试在保障游戏质量方面变得尤为重要。直感来看，LLM作为通用的信息处理转换大脑，必然能为游戏自动化测试技术带来了新的可能性。因此，本文就浅聊一下LLM赋能游戏自动化测试的一些想法。

变更风险防控的能力是多样的，除了最传统的告警检测、Metrics曲线对比以及自动化测试能力之外，像变更影响分析、风险降噪以及线上风险RCA等周边能力也是不可少的。有了更多的上下文信息，才能对变更风险做更好的判断。从中台技术视角来看，不论是传统能力还是一些AI加成的能力，如果没有一套稳固的技术基建让这些能力尽情发挥，那么这些能力将难以快速落地，充分兑现其业务价值。

基于此，笔者在今年工作中，交付了一套「能力市场」产品与技术架构，旨在面向不同业务团队的自研能力，提供一套开放式标准化的接入方案，让业务自研的变更防控能力可以快速应用到变更风险质检过程中。虽然这套架构目前还有很多继续扩展和完善的空间，并且也没有蹭到LLM的噱头，但在架构迭代过程中笔者权衡了很多利害关系，主导了很多技术演进判断，最终也成功落实了这个技术结果。

具体一些技术上的设计，其实前面的文章已经聊了很多，包括任务调度、事件状态机以及内置降噪模块嵌入之类的点都有阐述。所以今天这篇文章，不倾向于聊这些具体的技术实现，更倾向于聊下整个产品交付过程中的一些权衡和判断。

在先前的文章中，我们聊到了一个变更观测任务可以通过什么样的方式对不同的变更防控能力做统一调度，达到优越的变更风险拦截效果。但是在实战当中，变更观测任务集成了很多能力，即便风险拦截率很高，但不同能力效果也有差距，因此会有可能出现误报，导致变更观测结论不准确，影响研发发布效率。为此，一套成熟的变更观测系统，是需要嵌入一个决策降噪模块，通过干预变更防控拦截结果，达到在风险召回不劣化的同时，提升准确率，让结果更加置信。

因此，今天笔者决定结合自己的工作经验，简单聊一下变更风险防控架构的宏观体系当中，决策降噪模块应当怎样接入比较合适。需要说明的是，本文不涉及具体降噪的实现，包括算法的许多部分，主要是从后端工程架构角度，聊一下怎样的架构设计，能够让变更观测任务和决策降噪任务完美配合起来。

在变更风险观测任务调度过程当中，如何让一个观测任务在合适的时间点调用合适的变更防控能力，确保在变更过程中及时发现和处理风险，是任务调度模块设计方面比较重要的问题之一。在先前的文章中，也简单提到了变更观测任务调度的基本设计方法。但今天这篇文章，主要关注通过标准化事件的方式，通过事件驱动解决变更检测能力的调度问题。

近来AI大模型发展迅猛，不论是工业界还是生活界都纷纷开始进军AI，了解基于LLM的问答Agent需要如何开发。为了跟风，笔者也粗浅了解了下问答Agent开发的一些基础知识，简单开发了一个主要关注Python问答的Agent，挂在了自己的微信公众号上。

要开发一个问答Agent也很简单，重要的是得清楚一些本质：

接续先前CozeStudio的文章，CozeLoop相对于CozeStudio，更加专注于Prompt Engineering，打磨整个Agent Prompt的效果。因此，本篇文章也分享一下笔者使用CozeLoop的体验，源码可以从这个Repo里面拉取。