論文の概要: How You Ask Matters! Adaptive RAG Robustness to Query Variations
- arxiv url: http://arxiv.org/abs/2604.10745v1
- Date: Sun, 12 Apr 2026 17:35:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.198114
- Title: How You Ask Matters! Adaptive RAG Robustness to Query Variations
- Title(参考訳): クエリのバリエーションに対する適応的なRAGロバスト性
- Abstract要約: 我々は,多種多様ながら意味的に同一なクエリバリエーションの大規模ベンチマークを初めて導入する。
回答品質,計算コスト,検索決定の3つの側面にまたがる重要な要素について検討する。
これらの結果から,Adaptive RAG法は同一のセマンティクスを保持するクエリの変動に対して極めて脆弱であることがわかった。
- 参考スコア(独自算出の注目度): 28.302238047261962
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Adaptive Retrieval-Augmented Generation (RAG) promises accuracy and efficiency by dynamically triggering retrieval only when needed and is widely used in practice. However, real-world queries vary in surface form even with the same intent, and their impact on Adaptive RAG remains under-explored. We introduce the first large-scale benchmark of diverse yet semantically identical query variations, combining human-written and model-generated rewrites. Our benchmark facilitates a systematic evaluation of Adaptive RAG robustness by examining its key components across three dimensions: answer quality, computational cost, and retrieval decisions. We discover a critical robustness gap, where small surface-level changes in queries dramatically alter retrieval behavior and accuracy. Although larger models show better performance, robustness does not improve accordingly. These findings reveal that Adaptive RAG methods are highly vulnerable to query variations that preserve identical semantics, exposing a critical robustness challenge.
- Abstract(参考訳): Adaptive Retrieval-Augmented Generation (RAG) は、必要なときにのみ動的に検索をトリガーし、実際に広く使われている精度と効率を約束する。
しかし、現実世界のクエリは、同じ意図であっても表面的形態で変化し、Adaptive RAGに対する影響は未調査のままである。
我々は,人間による書き直しとモデルによる書き直しを組み合わせた,多種多様な意味論的に同一なクエリのバリエーションに関する,最初の大規模ベンチマークを紹介する。
本ベンチマークは, 応答品質, 計算コスト, 検索決定の3次元にわたる重要な要素を検証し, 適応RAGロバスト性を体系的に評価することを容易にする。
我々は,クエリの表面レベルの小さな変化が,検索行動と精度を劇的に変化させる,重要なロバスト性ギャップを発見した。
より大きなモデルではパフォーマンスが向上するが、ロバスト性は改善されない。
これらの結果から,Adaptive RAG法は同一のセマンティクスを保持するクエリの変動に対して極めて脆弱であり,重要なロバスト性課題が明らかとなった。
関連論文リスト
- R$^3$AG: Retriever Routing for Retrieval-Augmented Generation [59.47703698994575]
R$3$AGは、検索機能を2つの学習可能なディメンション、すなわち検索品質と生成ユーティリティに分解する。
R$3$AGは、最高の個々のレトリバーと最先端の静的ルーティングメソッドの両方を一貫して上回っている。
論文 参考訳(メタデータ) (2026-04-22T06:51:20Z) - Adaptive Multi-Expert Reasoning via Difficulty-Aware Routing and Uncertainty-Guided Aggregation [0.2864713389096699]
本稿では,動的適応戦略による推論による問題複雑性に着目したフレームワークであるAdaptive Multi-Expert Reasoning (AMR)について述べる。
問題テキストに焦点を当てたアジャイルルーティングシステムは、問題の難しさと不確実性を予測し、再構成可能なサンプリングメカニズムを誘導し、生成の幅を管理する。
GSM8Kデータセットで評価すると、AMRはオリジナルのトレーニングデータのみを使用しながら75.28%の精度を達成した。
論文 参考訳(メタデータ) (2026-04-11T19:44:57Z) - RAGRouter-Bench: A Dataset and Benchmark for Adaptive RAG Routing [37.7721677767453]
適応型RAGルーティング用に設計された最初のデータセットとベンチマークであるRAG-Benchを紹介する。
RAG-Benchは、クエリコーパスの互換性の観点から検索を再考し、5つの代表的なRAGパラダイムを体系的評価のために標準化する。
DeepSeek-V3 と LLaMA-3.1-8B による実験は、単一のRAGパラダイムが普遍的に最適であることを示した。
論文 参考訳(メタデータ) (2026-01-30T20:38:11Z) - Improving Document Retrieval Coherence for Semantically Equivalent Queries [63.97649988164166]
同じ文書を検索する際のモデルのコヒーレンスを改善する訓練DRにおける多段階ランク付け損失のバリエーションを提案する。
この損失は、多様だがセマンティックな等価なクエリのために検索されたトップkランクのドキュメント間の不一致を罰する。
論文 参考訳(メタデータ) (2025-08-11T13:34:59Z) - Investigating the Robustness of Retrieval-Augmented Generation at the Query Level [4.3028340012580975]
推論中に外部知識を動的に組み込むソリューションとして、検索拡張生成(RAG)が提案されている。
その約束にもかかわらず、RAGシステムは実際的な課題に直面し、特に、正確な検索のために入力クエリの品質に強く依存する。
論文 参考訳(メタデータ) (2025-07-09T15:39:17Z) - Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。
ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。
TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
論文 参考訳(メタデータ) (2025-05-22T09:04:03Z) - QE-RAG: A Robust Retrieval-Augmented Generation Benchmark for Query Entry Errors [23.225358970952197]
Retriever-augmented Generation (RAG) は、大規模言語モデル(LLM)の事実精度を高めるために広く採用されているアプローチである。
QE-RAGは、クエリエントリエラーに対するパフォーマンス評価に特化した、最初の堅牢なRAGベンチマークである。
コントラスト学習に基づくロバスト検索学習法と検索拡張クエリ補正法を提案する。
論文 参考訳(メタデータ) (2025-04-05T05:24:08Z) - HawkBench: Investigating Resilience of RAG Methods on Stratified Information-Seeking Tasks [102.72071523999169]
HawkBenchは、RAGのパフォーマンスを厳格に評価するために設計された、人間ラベル付きマルチドメインベンチマークである。
情報探索行動に基づくタスクの階層化により、HawkBenchはRAGシステムが多様なユーザニーズにどのように適応するかを体系的に評価する。
論文 参考訳(メタデータ) (2025-02-19T06:33:39Z) - Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
Retrieval-Augmented Generationは、大規模な言語モデル幻覚を緩和するための強力なアプローチとして登場した。
既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。
本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-17T18:56:20Z) - Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。
我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文 参考訳(メタデータ) (2024-12-16T19:11:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。