論文の概要: How You Ask Matters! Adaptive RAG Robustness to Query Variations
- arxiv url: http://arxiv.org/abs/2604.10745v1
- Date: Sun, 12 Apr 2026 17:35:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.198114
- Title: How You Ask Matters! Adaptive RAG Robustness to Query Variations
- Title(参考訳): クエリのバリエーションに対する適応的なRAGロバスト性
- Authors: Yunah Jang, Megha Sundriyal, Kyomin Jung, Meeyoung Cha,
- Abstract要約: 我々は,多種多様ながら意味的に同一なクエリバリエーションの大規模ベンチマークを初めて導入する。
回答品質,計算コスト,検索決定の3つの側面にまたがる重要な要素について検討する。
これらの結果から,Adaptive RAG法は同一のセマンティクスを保持するクエリの変動に対して極めて脆弱であることがわかった。
- 参考スコア(独自算出の注目度): 28.302238047261962
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Adaptive Retrieval-Augmented Generation (RAG) promises accuracy and efficiency by dynamically triggering retrieval only when needed and is widely used in practice. However, real-world queries vary in surface form even with the same intent, and their impact on Adaptive RAG remains under-explored. We introduce the first large-scale benchmark of diverse yet semantically identical query variations, combining human-written and model-generated rewrites. Our benchmark facilitates a systematic evaluation of Adaptive RAG robustness by examining its key components across three dimensions: answer quality, computational cost, and retrieval decisions. We discover a critical robustness gap, where small surface-level changes in queries dramatically alter retrieval behavior and accuracy. Although larger models show better performance, robustness does not improve accordingly. These findings reveal that Adaptive RAG methods are highly vulnerable to query variations that preserve identical semantics, exposing a critical robustness challenge.
- Abstract(参考訳): Adaptive Retrieval-Augmented Generation (RAG) は、必要なときにのみ動的に検索をトリガーし、実際に広く使われている精度と効率を約束する。
しかし、現実世界のクエリは、同じ意図であっても表面的形態で変化し、Adaptive RAGに対する影響は未調査のままである。
我々は,人間による書き直しとモデルによる書き直しを組み合わせた,多種多様な意味論的に同一なクエリのバリエーションに関する,最初の大規模ベンチマークを紹介する。
本ベンチマークは, 応答品質, 計算コスト, 検索決定の3次元にわたる重要な要素を検証し, 適応RAGロバスト性を体系的に評価することを容易にする。
我々は,クエリの表面レベルの小さな変化が,検索行動と精度を劇的に変化させる,重要なロバスト性ギャップを発見した。
より大きなモデルではパフォーマンスが向上するが、ロバスト性は改善されない。
これらの結果から,Adaptive RAG法は同一のセマンティクスを保持するクエリの変動に対して極めて脆弱であり,重要なロバスト性課題が明らかとなった。
関連論文リスト
- Adaptive Multi-Expert Reasoning via Difficulty-Aware Routing and Uncertainty-Guided Aggregation [0.2864713389096699]
本稿では,動的適応戦略による推論による問題複雑性に着目したフレームワークであるAdaptive Multi-Expert Reasoning (AMR)について述べる。
問題テキストに焦点を当てたアジャイルルーティングシステムは、問題の難しさと不確実性を予測し、再構成可能なサンプリングメカニズムを誘導し、生成の幅を管理する。
GSM8Kデータセットで評価すると、AMRはオリジナルのトレーニングデータのみを使用しながら75.28%の精度を達成した。
論文 参考訳(メタデータ) (2026-04-11T19:44:57Z) - RAGRouter-Bench: A Dataset and Benchmark for Adaptive RAG Routing [37.7721677767453]
適応型RAGルーティング用に設計された最初のデータセットとベンチマークであるRAG-Benchを紹介する。
RAG-Benchは、クエリコーパスの互換性の観点から検索を再考し、5つの代表的なRAGパラダイムを体系的評価のために標準化する。
DeepSeek-V3 と LLaMA-3.1-8B による実験は、単一のRAGパラダイムが普遍的に最適であることを示した。
論文 参考訳(メタデータ) (2026-01-30T20:38:11Z) - QE-RAG: A Robust Retrieval-Augmented Generation Benchmark for Query Entry Errors [23.225358970952197]
Retriever-augmented Generation (RAG) は、大規模言語モデル(LLM)の事実精度を高めるために広く採用されているアプローチである。
QE-RAGは、クエリエントリエラーに対するパフォーマンス評価に特化した、最初の堅牢なRAGベンチマークである。
コントラスト学習に基づくロバスト検索学習法と検索拡張クエリ補正法を提案する。
論文 参考訳(メタデータ) (2025-04-05T05:24:08Z) - HawkBench: Investigating Resilience of RAG Methods on Stratified Information-Seeking Tasks [102.72071523999169]
HawkBenchは、RAGのパフォーマンスを厳格に評価するために設計された、人間ラベル付きマルチドメインベンチマークである。
情報探索行動に基づくタスクの階層化により、HawkBenchはRAGシステムが多様なユーザニーズにどのように適応するかを体系的に評価する。
論文 参考訳(メタデータ) (2025-02-19T06:33:39Z) - Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
Retrieval-Augmented Generationは、大規模な言語モデル幻覚を緩和するための強力なアプローチとして登場した。
既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。
本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-17T18:56:20Z) - Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。
我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文 参考訳(メタデータ) (2024-12-16T19:11:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。