Demo 09

LLM 与现代 AI 系统:为什么大模型还需要外部系统?

Transformer 让模型能在大规模文本中学习通用模式,但真实产品不是只有一个模型调用。现代 AI 系统会把模型放进上下文、检索、工具、记忆和评估构成的外部结构里。

为什么大模型还需要外部知识和工具?

教学型交互案例

LLM 系统边界实验

同一个 Base Model 面对不同任务,为什么需要不同的外部系统路径?

最新政策问答

私有且刚更新的政策不能只靠参数回忆

这个任务需要当前证据和可核引用,但不需要执行外部动作,也不需要恢复长期状态。

用户请求
根据本周更新的内部政策,我有几天陪产假?请引用依据。
所需系统路径
需要 Retrieval、Context 与 Eval;Memory 和 Tools 在这条路径中保持可选。
1 / 6

任务带着时效与引用要求进入系统

用户问的是本周更新的内部制度,并要求引用依据;任务输入只说明目标,没有携带答案本身。

这个边界证明 识别任务

一条清晰指令仍可能缺少完成任务所需的外部事实。

学习目标
  • 区分模型参数、当前上下文、外部检索和长期任务状态。
  • 理解工具把生成变成外部动作,因此需要独立的权限与结果检查。
  • 观察系统如何按任务需要选择组件,而不是给每个请求堆叠全部模块。
简化说明

本案例不调用真实模型、检索库、记忆服务、工具或评估器;请求、证据、状态、动作和检查结果均为预设。图中的组件是教学边界,真实系统可能合并、拆分或省略其中的模块。

历史位置

它连接 Transformer、RAG 与 Agent

之前的问题模型参数不是实时世界

预训练知识强大但会过期,也无法直接读取私有文档、业务数据库或工具结果。

解决内容把能力放进系统结构

上下文窗口、检索、工具调用、记忆和评估让模型变成可组合的软件组件。

遗留问题系统仍会失败

错误检索、工具误用、提示注入、权限泄漏和评估盲区仍需要工程约束。

简化说明

这是系统地图,不是真实编排引擎

本章用两个脚本化任务说明 LLM 应用常见组件,不调用真实模型、数据库、记忆服务、工具 API 或评估服务。组件关系和结果均为教学抽象,用于解释为什么现代 AI 应用需要模型外部结构。

参考资料

Concept Check

用一个问题检验核心直觉

自测只帮助你检查理解,不影响继续学习。记录仅保存在本设备。

为什么现代 AI 应用不能只画一个“LLM”方框?