論文の概要: Lost in Conversation or Lost in Translation? Diagnosing Multi-Turn Degradation in RAG

• arxiv url: http://arxiv.org/abs/2609.36700v1
• Date: Tue, 29 Sep 2026 04:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.188978
• Title: Lost in Conversation or Lost in Translation? Diagnosing Multi-Turn Degradation in RAG
• Title（参考訳）: 翻訳における会話の喪失と損失 : RAGにおける多段階劣化の診断
• Abstract要約: Retrieval-augmented Generation (RAG) と Graph-based variant (GraphRAG) は、主に単一ターンで完全に指定されたクエリで評価される。 我々は,この評価ミスマッチを大規模シミュレーション研究により系統的に検討した。
• 参考スコア（独自算出の注目度）: 1.3931584561569557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When conversing with large language models (LLMs), users often begin with a simple question and build towards a multi-hop question through follow-up turns. Retrieval-augmented generation (RAG) and its graph-based variant (GraphRAG) have become the dominant approaches for grounding LLM responses in external evidence, yet both are evaluated almost exclusively on single-turn, fully specified queries. We systematically investigate this evaluation mismatch through a large-scale simulation study. Building on prior work on multi-turn LLM evaluation, we transform questions from multi-hop question answering (QA) benchmarks into underspecified conversations and evaluate ten LLM assistants with eight retrieval systems across 1.5 million simulated conversations. Our findings reveal that multi-turn interaction causes widespread performance degradation, incurring relative performance drops of up to 21% and increasing unreliability by 47%, making RAG systems simultaneously less accurate and less reliable. We identify two distinct failure modes behind this degradation. Systems are either lost in translation, where conversational rephrasing distorts the retrieval query, or lost in conversation, where retrieval succeeds but the LLM fails to synthesize evidence distributed across turns.
• Abstract（参考訳）: 大規模言語モデル(LLM)と会話する場合、ユーザは単純な質問から始めて、フォローアップターンを通じてマルチホップの質問に向かって構築することが多い。 Retrieval-augmented Generation (RAG) と Graph-based variant (GraphRAG) は、LLM応答を外部の証拠でグラウンド化するための主要なアプローチとなっている。 我々は,この評価ミスマッチを大規模シミュレーション研究により系統的に検討した。 マルチターンLLM評価の先行研究に基づいて、マルチホップ質問応答(QA)ベンチマークから不特定会話へと質問を変換し、150万のシミュレートされた会話に対して8つの検索システムを備えた10のLLMアシスタントを評価する。 以上の結果から,マルチターン相互作用が性能劣化を招き,相対的な性能低下が21%となり,信頼性が47%向上し,RAGシステムの信頼性が低下することがわかった。 この劣化の背後にある2つの異なる障害モードを特定します。 システムは翻訳で失われ、会話の言い換えは検索クエリを歪ませたり、会話で失われたり、検索が成功するが、LLMは順番に分散した証拠を合成できない。

関連論文リスト

• DaPT: A Dual-Path Framework for Multilingual Multi-hop Question Answering [41.923993964253405]
  本稿では,多言語コーパスとクエリをまたいで検索する新しいフレームワークを提案する。 DaPTは、ソース言語クエリと英訳クエリの両方に並列にサブクエリグラフを生成する。 DaPTは、ベースラインよりも正確で簡潔な答えを得る。
  論文  参考訳（メタデータ） (2026-03-19T16:23:04Z)
• Reasoning in Trees: Improving Retrieval-Augmented Generation for Multi-Hop Question Answering [14.456873356080186]
  Reasoning Tree Guided RAG (RT-RAG) は複雑なマルチホップQAのための新しい階層的フレームワークである。 RT-RAGは、マルチホップ質問を明示的な推論木に体系的に分解し、不正確な分解を最小限にする。
  論文  参考訳（メタデータ） (2026-01-16T13:02:25Z)
• LLMs Get Lost In Multi-Turn Conversation [44.26588510453331]
  LLM(Large Language Models)は、対話型インタフェースである。 LLMは、手元のタスクを完全に指定できるだけでなく、マルチターンの会話交換を通じて必要なものを定義、探索、洗練する上でも、ユーザを支援することができる。
  論文  参考訳（メタデータ） (2025-05-09T15:21:44Z)
• Out of Style: RAG's Fragility to Linguistic Variation [29.59506089890902]
  ユーザクエリは言語的なバリエーションが大きく、依存するRAGコンポーネント間のカスケードエラーを引き起こす可能性がある。 我々は,4つの言語的次元(形式性,可読性,丁寧性,文法的正しさ)がRAG性能に与える影響を分析する。
  論文  参考訳（メタデータ） (2025-04-11T03:30:26Z)
• Benchmarking Gaslighting Negation Attacks Against Multimodal Large Language Models [45.63440666848143]
  MLLM(Multimodal Large Language Models)は、様々なモダリティの統合において顕著な進歩を見せている。 彼らの成功にもかかわらず、MLLMは会話の敵対的な入力に弱いままである。 我々は,最初に正しい回答を提供するモデルが,ユーザが提供する否定によってそのアウトプットを逆転するように説得される現象であるガスライティング否定攻撃について検討する。
  論文  参考訳（メタデータ） (2025-01-31T10:37:48Z)
• MTRAG: A Multi-Turn Conversational Benchmark for Evaluating Retrieval-Augmented Generation Systems [21.554151870748104]
  MTRAG: エンドツーエンドのヒューマン生成マルチターンRAGベンチマークを提案する。 完全なRAGパイプラインを評価するために、さまざまな次元にまたがる現実世界のいくつかの特性を反映している。 我々の評価では、最先端のLLM RAGシステムでさえMTRAGに苦戦している。
  論文  参考訳（メタデータ） (2025-01-07T01:52:56Z)
• Are More LLM Calls All You Need? Towards Scaling Laws of Compound Inference Systems [76.69936664916061]
  LM呼び出し回数がVotteとFilter-Voteのパフォーマンスに与える影響について検討する。 意外なことに、複数の言語タスクにおいて、VoteとFilter-Voteの両方のパフォーマンスは、まず増大するが、LM呼び出しの回数の関数として減少する可能性がある。
  論文  参考訳（メタデータ） (2024-03-04T19:12:48Z)
• ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
  外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。 エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。 引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-12-15T18:20:15Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。