RAG-Anything：面向多模态文档的统一检索增强生成框架

RAG-Anything: All-in-One RAG Framework

作者（5 位）

Zirui Guo, Xubin Ren, Lingrui Xu, Jiahao Zhang, Chao Huang

2025-10-14 · arXiv · PDF

RAG-Anything 通过双图构建与跨模态混合检索，把文本、图像、表格和公式统一为互联知识实体，在多模态长文档问答上超越纯文本与部分多模态基线。

背景

现有检索增强生成（RAG）框架基本以纯文本为知识假设，但真实知识库天然是多模态的，包含文本、图像、结构化表格与数学公式。作者指出，这一文本假设迫使系统丢弃非文本信息，或把复杂多模态内容压平成粗糙的文本近似，在学术论文、金融分析与医学文献等文档密集型领域造成严重信息损失。

作者以科研中的图表、金融中的市场图表与绩效表、医学中的影像与临床数据表为例，说明关键洞见常仅以非文本形式编码，难以有效转写为纯文本。据此论文提出多模态 RAG 的三项核心挑战：统一多模态表示、结构感知分解、跨模态检索；并强调在长文档场景中，证据分散于多种模态与多个章节，挑战进一步放大。

创新点

提出 RAG-Anything 统一框架，把多模态内容重新概念化为互联的知识实体而非孤立数据类型，以消除现有多模态 RAG 的架构碎片化。
设计双图构建策略：先构建跨模态知识图，将非文本单元锚定在其上下文环境中，再构建文本知识图，并通过实体对齐将两者融合为统一图。
提出跨模态混合检索机制，把基于图的结构化知识导航与稠密向量的语义相似匹配相结合，并引入模态感知的查询处理与多信号融合排序。
在 DocBench 与 MMLongBench 两个多模态文档问答基准上进行评测，报告整体性能优于 GPT-4o-mini、LightRAG 与 MMGraphRAG，且文档越长优势越明显。

方法

多模态知识统一：将每个知识源 $k_{i}$ 分解为原子内容单元 $c_{j} = (t_{j}, x_{j})$ ，其中 $t_{j}$ 为模态类型（文本、图像、表格、公式等）， $x_{j}$ 为模态感知提取的原始内容；图像保留标题与交叉引用，表格解析为带表头与数值的结构化单元格，公式转为符号表示，从而在保留层级与上下文关系的前提下实现统一处理与索引。
跨模态知识图构建：用多模态大模型为每个非文本原子单元生成面向检索的详细描述 $d_{j}^{c h u n k}$ 与含名称、类型、描述的实体摘要 $e_{j}^{e n t i t y}$ ，生成时以局部邻域 $C_{j} = {c_{k} ∣ | k - j | \leq δ}$ 为上下文；再以 $R (d_{j}^{c h u n k})$ 抽取块内实体与关系，并为每个非文本单元设立多模态实体锚点 $v_{j}^{m m}$ ，以 belongs_to 边连接其块内实体。
文本知识图构建：对 $t_{j} = text$ 的文本块，沿用类 LightRAG 与 GraphRAG 的既有方法，直接在文本内容上做命名实体识别与关系抽取，得到捕获显式知识与语义关联的文本图；作者认为文本本身语义丰富，无需额外多模态上下文整合。
图融合与索引创建：以实体名称为主匹配键做实体对齐，合并多模态图与文本图得到统一图 $𝒢 = (𝒱, ℰ)$ ；再为图中实体、关系与各模态原子块编码稠密向量，构建嵌入表 $𝒯 = emb (s) : s \in 𝒱 \cup ℰ \cup {c_{j}}_{j}$ ，二者共同构成检索索引 $ℐ = (𝒢, 𝒯)$ 。
模态感知查询编码：对用户查询 $q$ 先做词法线索与模态偏好分析，例如出现 figure、chart、table、equation 等词时给出期望模态信号；再用与索引阶段相同的编码器计算统一文本嵌入 $𝐞_{q}$ ，保证查询与知识表示一致，使文本查询可访问多模态内容。
混合检索架构：结构知识导航以关键词匹配与实体识别定位图组件，并从精确实体匹配出发做限定跳数的邻域扩展，得到候选集 $𝒞_{s t r u} (q)$ ；语义相似匹配则在嵌入表 $𝒯$ 上做稠密向量检索，按余弦相似度返回 top-k 块 $𝒞_{s e m a n} (q)$ ，以补足图中无显式连接但语义相关的内容。
候选统一与融合排序：将两路候选合并为 $𝒞 (q) = 𝒞_{s t r u} (q) \cup 𝒞_{s e m a n} (q)$ ，再用多信号融合评分整合图拓扑结构重要性、嵌入语义相似度与查询推断的模态偏好，得到最终排序候选 $𝒞^{⋆} (q)$ ，避免简单合并带来的冗余与信号忽视。
从检索到合成：先把检索组件的实体摘要、关系描述与块内容按模态类型与层级来源加分隔符拼接为结构化文本上下文 $𝒫 (q)$ ；再对视觉块解引用恢复原始图像 $𝒱^{⋆} (q)$ ，最后由视觉语言模型联合条件生成，即 $Response = VLM (q, 𝒫 (q), 𝒱^{⋆} (q))$ ，兼顾视觉语义与证据落地。

实验

评测设置：在 DocBench（229 篇文档、5 个领域、1102 个问答对，平均 66 页约 46377 token）与 MMLongBench（135 篇文档、7 类文档、1082 个问题）上评测；基线为 GPT-4o-mini、LightRAG 与 MMGraphRAG，均以 GPT-4o-mini 为骨干；文档用 MinerU 解析，检索用 text-embedding-3-large（3072 维）与 bge-reranker-v2-m3，准确率由 GPT-4o-mini 评判。
DocBench 整体结果：RAG-Anything 总体准确率 63.4%，高于 MMGraphRAG 的 61.0%、LightRAG 的 58.4% 与 GPT-4o-mini 的 51.2%；多模态类型上达 76.3%，明显高于 LightRAG 的 59.7% 与 MMGraphRAG 的 66.0%，但在不可回答题上为 46.0%，略低于 MMGraphRAG 的 60.5%。
MMLongBench 整体结果：RAG-Anything 总体 42.8%，优于 LightRAG 的 38.9%、MMGraphRAG 的 37.7% 与 GPT-4o-mini 的 33.5%；在研究报告（46.6%）、指南手册（43.9%）与金融报告（43.6%）等信息密集领域取得最佳，在教程类（43.5%）略低于 GPT-4o-mini 的 44.0%。
长文档优势：短文档上 RAG-Anything 与 MMGraphRAG 表现相当，但随着文档变长优势扩大；DocBench 上 101–200 页为 68.2% 对 54.6%、200 页以上为 68.8% 对 55.0%，差距超过 13 个点；MMLongBench 上 11–50 页提升 3.4 点、51–100 页提升 9.3 点、101–200 页提升 7.9 点。
消融研究：Chunk-only 变体绕过双图构建、仅用传统分块检索，总体仅 60.0%；去掉跨模态重排后为 62.4%；完整模型为 63.4%。作者据此认为图构建是主要增益来源，重排带来边际改进而非主要贡献。
案例分析：多面板 t-SNE 图案例中，模型把面板、轴标题、图例与标题建为节点并编码语义边，从而聚焦 style-space 面板、避开相邻的 content-space 面板；金融表案例中把行头、列头（年份）、数据单元与单位建为节点，以 row-of、column-of 等边精确定位“Wages and salaries”行与“2020”列交叉处的 26778 百万，并能区分相近条目。

局限

作者在失败案例分析中指出，系统存在文本中心检索偏置：即使查询明确要求视觉信息，系统仍优先检索文本来源，反映跨模态注意力不足。
作者指出系统采用刚性的空间处理模式，仅按从上到下、从左到右的常规顺序扫描，难以适应表格、技术图示与非标准版面所需的非常规阅读顺序。
作者报告在结构歧义表格上全部方法均失败，例如 GEM 行缺少独立单元格边界、Joint 与 Slot 列合并，说明当前解析对合并单元格与非标准布局较为脆弱。
从实验看，方法在不可回答问题上表现偏弱（DocBench 46.0%，低于 MMGraphRAG 的 60.5%）且部分领域并非最优，说明拒答与领域泛化仍有改进空间；此判断为解读性观点。（解读者观点）