論文の概要: Same Agent, Different Answers: A Repeat-Aware Audit of Corpus-Induced Answer Churn in Retrieval-Augmented QA
- arxiv url: http://arxiv.org/abs/2608.22856v1
- Date: Mon, 24 Aug 2026 06:40:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.907348
- Title: Same Agent, Different Answers: A Repeat-Aware Audit of Corpus-Induced Answer Churn in Retrieval-Augmented QA
- Title（参考訳）: 同一薬剤, 異なる回答: 検索型QAにおけるコーパス誘発性問合せの繰り返し聴取
- Abstract要約: 検索強化されたQAシステムは、要求されたモデル識別子、プロンプト、検索ポリシー、エビデンス深さ、レンダリング、露出した生成制御が固定された場合でも、インデックス展開後に異なる回答を返すことができる。
我々は、隠れた現象の正確さを正解とみなし、クロスショットの相違から反則を減じて過剰な解答を推定するemphSnapshot Compatibility Auditを導入する。
- 参考スコア（独自算出の注目度）: 0.4351760066527804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A retrieval-augmented QA system can return different answers after an index expansion even when its requested model identifier, prompt, retrieval policy, evidence depth, rendering, and exposed generation controls are held fixed. Aggregate accuracy may hide these changes when gains and losses cancel, while ordinary generation variability makes one-shot comparisons overstate update effects. We call the hidden phenomenon accuracy-blind answer churn and introduce the \emph{Snapshot Compatibility Audit}, which estimates excess answer churn by subtracting same-snapshot repeat disagreement from cross-snapshot disagreement. We instantiate it by expanding one frozen FineWeb prefix from one to seven shards. In a preregistered 400-question Natural Questions study, normalized-exact and blinded-semantic excess churn are 6.44 and 10.25 percentage points while exact-match accuracy changes by only $-1.50$ points. A post-hoc analysis finds repeat-stable semantic flips on 40/400 questions. A separately preregistered 200-question TriviaQA study yields smaller, directionally consistent excess churn while exact-match accuracy moves in the opposite direction. An outcome-blind post-hoc 100-question subset replication with a second DeepSeek generator and serving configuration finds 8.75 pp of semantic excess churn even as exact match rises by 3.00 percentage points. Answer-level compatibility can therefore fail without a conspicuous or consistently directed utility shift. Retrieval-augmented releases should audit compatibility alongside utility.
- Abstract（参考訳）: 検索強化されたQAシステムは、要求されたモデル識別子、プロンプト、検索ポリシー、エビデンス深さ、レンダリング、露出した生成制御が固定された場合でも、インデックス展開後に異なる回答を返すことができる。
集計精度は、ゲインとロスがキャンセルされたときにこれらの変更を隠蔽し、通常の世代変動は、1ショットの更新効果をオーバーステートで比較する。
我々は,隠れた現象の正確さを正解チャーンと呼び,クロススナップショットの相違を減じて過剰な応答チャーンを推定する 'emph{Snapshot Compatibility Audit} を導入する。
凍結したFineWebプレフィックスを1つから7つのシャードに拡張してインスタンス化する。
登録済みの400件の自然質問調査では、正規化されたエクササイズとブラインドされたセマンティックな過剰なチャーンの割合は6.44と10.25であり、正確なマッチング精度はたったの1.50ドルである。
ポストホック分析では、40/400の質問に対して繰り返し安定なセマンティックフリップが見つかる。
別々に登録された200-question TriviaQA研究は、正確なマッチ精度が反対方向に移動する間、より小さく、方向的に一貫した過剰なチャーンをもたらす。
第2のDeepSeekジェネレータとサービス構成によるアウトカムブラインド後の100-クエストサブセットの複製では、正確なマッチが3.00ポイント上昇しても8.75ppのセマンティック過剰なチャーンが見つかる。
したがって、アンサーレベルの互換性は、目立った、あるいは一貫したユーティリティシフトなしで失敗する可能性がある。
Retrieval-augmentedリリースはユーティリティと互換性を監査する必要がある。
関連論文リスト
- Evaluating Confidence-Gated Retrieval with Matched Trajectory Replay [3.888537003098864]
信頼と行動のマッピングを比較するための制御プロトコルであるMatched trajectory replayを提案する。
マルチホップ質問応答システムにおいて, 生の言語的信頼度とポストホック等調音校正度を比較した。
全体的な精度は、HotpotQAでは最大15ポイント向上するが、MuSiQueでは最大17ポイント低下する。
論文 参考訳（メタデータ） (2026-08-27T09:15:33Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - When Should Multi-Round RAG Stop? Structured Stopping Judgments and Retrieval Reduction in Search-R1 [0.0]
マルチラウンド検索強化世代(RAG)は、証拠が蓄積されるにつれていつ検索を止めるかを決定する必要がある。
我々は,S2G-RAGの構造的充足性判定をフリーズしたサーチ-R1パイプラインに適用する。
我々は900のHotpotQA質問から3,009の州でQwen3.5-2B判事を訓練する。
論文 参考訳（メタデータ） (2026-08-13T13:42:48Z) - Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。
一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
論文 参考訳（メタデータ） (2026-07-30T16:41:40Z) - CUSUM-Shaped Inference-Time Monitoring and Targeted Re-Decoding for Quantized Small Language Model Reasoning [0.6999740786886536]
MGT-Bは、事前サンプリングの不確かさと変性の特徴の重なり合う窓を、位置条件による経験的尾の確率にマップする。
ログしきい値h=10のマニュアル選択後に最初に観察された問題同一性に対して,その効果が持続するかどうかを検証した。
どちらの分析も確証がなく、実証的要因は有効な電子プロセスや電子検出器として確立されていない。
論文 参考訳（メタデータ） (2026-07-22T13:34:17Z) - Know Before You Fetch: Calibrated Retrieval-Budget Allocation for Retrieval-Augmented Generation [10.60293484295824]
適応RAGをキャリブレーションした検索予算配分として定式化する。
シーケンスログの確率とプレフィックスログの不確実性信号を正しさの確率に調整する。
シーケンスログの確率については、TriviaQAでは0.275から0.062に、NQでは0.643から0.009に、MS MARCOでは0.711から0.031に低下する。
論文 参考訳（メタデータ） (2026-06-29T08:36:33Z) - Think Again or Think Longer? Selective Verification for Budget-Aware Reasoning [15.231928045776293]
sevraは、凍結したソルバの初期応答を保存するか、アクティブな検証を実行するかを決定するサーブレイヤーコントローラである。
数学では、選択的検証は76.3%の精度で行われ、検証は常に75.5%である。
CommonsenseQAでは、常時オンの検証が問題になり、Self-Consistency@5では、実現したトークンコストの約5倍の精度が向上する。
論文 参考訳（メタデータ） (2026-06-18T05:25:43Z) - FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。
各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。
FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-30T10:21:20Z) - MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。
本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。
ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
論文 参考訳（メタデータ） (2026-05-26T15:38:46Z) - PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。
textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
論文 参考訳（メタデータ） (2026-03-30T23:52:54Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - vCache: Verified Semantic Prompt Caching [95.16654660556975]
本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。
オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。
我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
論文 参考訳（メタデータ） (2025-02-06T04:16:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。