論文の概要: RAFT: A Stateful Retrieval-Augmented Framework for Troubleshooting Agents
- arxiv url: http://arxiv.org/abs/2609.20754v1
- Date: Thu, 17 Sep 2026 17:41:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.406247
- Title: RAFT: A Stateful Retrieval-Augmented Framework for Troubleshooting Agents
- Title(参考訳): RAFT: トラブルシューティングエージェントのためのステートフル検索拡張フレームワーク
- Abstract要約: RAFT(Retrieval-Augmented Framework for Agents)は、各閉じた履歴ケースを時系列エントリの連鎖に抽象化し、エントリレベルで検索するステートフルなRAGフレームワークである。
我々は,本検索層を直接評価するが,フルエージェントシステムとは違い,本運用環境の配置は不要である。
RAFTは、バニラRAGとGraphRAGのベースラインよりも格段に改善され、最強のベースラインよりも統計的に有意な増加が見られた。
- 参考スコア(独自算出の注目度): 5.704582288659669
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective troubleshooting agents in enterprise customer support depend on retrieving actionable guidance from similar historical cases, yet existing retrieval-augmented generation (RAG) systems treat support cases as static documents and overlook their multi-stage, stateful nature. We introduce RAFT (Retrieval-Augmented Framework for Troubleshooting Agents), a stateful RAG framework that abstracts each closed historical case into a directed chain of timeline entries and retrieves at the entry level, surfacing cases whose intermediate states match the active case and returning the parent-case trajectory anchored at the matched state; an optional case-level graph links cases through a configurable similarity representation. We evaluate this retrieval layer directly, which, unlike evaluating a full agent system, requires no production deployment. Because public multi-stage troubleshooting data is extremely rare, we pair a synthetic benchmark built from Microsoft Learn Windows Server documentation with real Apache Jira issues carrying human-created duplicate labels. RAFT improves Case Hit over vanilla RAG and GraphRAG baselines at every stage of case progress, with statistically significant gains over the strongest baseline; the Jira results provide directional evidence that the advantage transfers to real case histories. We release our benchmark, implementation, and the Apache Jira evaluation set.
- Abstract(参考訳): 企業顧客サポートにおける効果的なトラブルシューティングエージェントは、同様の歴史的事例から実行可能なガイダンスを取得することに依存するが、既存の検索強化世代(RAG)システムは、サポートケースを静的文書として扱い、マルチステージでステートフルな性質を見落としている。
RAFT(Retrieval-Augmented Framework for Trouble shooting Agents)は,各閉じた履歴事例を時系列エントリのチェーンに抽象化し,そのエントリレベルで検索するステートフルなRAGフレームワークである。
我々は,本検索層を直接評価するが,フルエージェントシステムとは違い,本運用環境の配置は不要である。
パブリックなマルチステージトラブルシューティングデータは極めて稀であるため、Microsoft Learn Windows Serverドキュメントから構築された総合ベンチマークと、人間が作成した重複ラベルを持つ実際のApache Jiraイシューを組み合わせます。
RAFTは、バニラRAGとGraphRAGのベースラインよりも格段に改善し、最強のベースラインよりも統計的に有意な利得を得た。
ベンチマーク、実装、Apache Jira評価セットをリリースしています。
関連論文リスト
- Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。
我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。
本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文 参考訳(メタデータ) (2026-03-09T18:20:20Z) - BookRAG: A Hierarchical Structure-aware Index-based Approach for Retrieval-Augmented Generation on Complex Documents [11.158307125677375]
Retrieval-Augmented Generation (RAG)は、外部の複雑なドキュメントから非常に関連性の高い情報をクエリする。
本稿では,階層構造を持つ文書を対象とした新しいRAG手法であるBookRAGを紹介する。
BookRAGは最先端のパフォーマンスを実現し、検索リコールとQA精度の両方において、ベースラインを著しく上回っている。
論文 参考訳(メタデータ) (2025-12-03T03:40:49Z) - RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。
事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。
実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文 参考訳(メタデータ) (2024-08-02T13:35:11Z) - Evaluating Retrieval Quality in Retrieval-Augmented Generation [21.115495457454365]
従来のエンドツーエンド評価手法は計算コストが高い。
本稿では,検索リストの各文書をRAGシステム内の大規模言語モデルで個別に利用するeRAGを提案する。
eRAGは、ランタイムを改善し、エンドツーエンド評価の最大50倍のGPUメモリを消費する、大きな計算上のアドバンテージを提供する。
論文 参考訳(メタデータ) (2024-04-21T21:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。