論文の概要: The Magnitude Mirage: Rethinking Confidence for Reasoning-Intensive Retrieval
- arxiv url: http://arxiv.org/abs/2609.15578v1
- Date: Mon, 14 Sep 2026 13:49:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.419498
- Title: The Magnitude Mirage: Rethinking Confidence for Reasoning-Intensive Retrieval
- Title（参考訳）: The Magnitude Mirage: Reasoning-Intensive Retrievalに対する信頼の再考
- Abstract要約: 多くのRAGシステムは、生の類似度スコアをしきい値にし、スコアの大きさを信頼信号として暗黙的に扱うことにより、検索停止を実装している。
クエリはセマンティックマッチング以上の推論を必要とするため,このプラクティスは体系的に劣化することを示す。
計算コストのかかる代替手段を使わずにこの問題に対処するため、我々は3つの認知層にわたる6つのゼロコストクエリパフォーマンス予測(QPP)メトリクスを大規模に検討した。
- 参考スコア（独自算出の注目度）: 22.82938587928396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many production RAG systems implement retrieval abstention by thresholding raw similarity scores, implicitly treating score magnitude as a confidence signal. We demonstrate that this practice degrades systematically as queries require reasoning beyond semantic matching. Across 11 retrieval architectures and 28 datasets, neural retrievers consistently assign high similarity scores to semantically related but constraint-violating documents, causing magnitude-based thresholds to collapse toward near-random abstention performance on logical and temporal reasoning tasks---a failure we term the Magnitude Mirage. To address this without computationally expensive alternatives, we conduct a large-scale empirical study of six zero-cost Query Performance Prediction (QPP) metrics across three cognitive tiers: semantic matching (BEIR), logical reasoning (BRIGHT), and temporal reasoning (TEMPO). Our central finding is that the key improvement comes from abandoning magnitude in favor of score-distribution signals: the gain from this shift exceeds the differences among distributional alternatives by a factor of 5-10$\times$. In particular, Score Gap ($s_1 - s_k$) and a practical adaptation of Score Magnitude and Variance (LSMV) improve abstention AUROC by up to 0.16 in settings where magnitude-based confidence provides little discriminative power. These methods require no additional inference, retraining, or latency, making them a practical zero-cost replacement for magnitude thresholding in deployed RAG systems.
- Abstract（参考訳）: 多くのRAGシステムは、生の類似度スコアをしきい値にし、スコアを信頼信号として暗黙的に扱うことにより、検索停止を実装している。
クエリはセマンティックマッチング以上の推論を必要とするため,このプラクティスは体系的に劣化することを示す。
11の検索アーキテクチャと28のデータセットを通じて、ニューラルレトリバーは一貫して高い類似度スコアをセマンティック関連だが制約に違反するドキュメントに割り当て、論理的および時間的推論タスクにおいて、マグニチュード・ミラージュ(Magnitude Mirage)と呼ばれる失敗に対して、マグニチュードベースのしきい値がほぼランダムな停止パフォーマンスに崩壊する。
計算に費用がかかる代替手段を使わずにこれを解決するために、セマンティックマッチング(BEIR)、論理的推論(BRIGHT)、時間的推論(TEMPO)の3段階にわたる6つのゼロコストクエリパフォーマンス予測(QPP)メトリクスを大規模に検討した。
我々の中心的な発見は、重要な改善は、スコア分配信号に有利な大きさを放棄することによるものであり、このシフトによる利得は、分配代替品間の差を5〜10$\times$で上回っていることである。
特に、Score Gap(s_1 - s_k$)と、Score Magnitude and Variance(LSMV)の実践的な適応により、等級ベースの自信が識別力が少ない設定において、AUROCを最大0.16改善する。
これらの方法は、追加の推論、再訓練、遅延を必要としないため、デプロイされたRAGシステムにおいて、マグニチュードしきい値の実質的なゼロコスト代替となる。
関連論文リスト
- Beyond Aggregate Calibration: Decomposing Income-Conditional Recall Disparities in Automated Credit Default Prediction [0.0]
高所得既定者は低所得既定者に対してラベルノイズとして不均等に分類される。
16.86パーセントのポイントギャップは、最終的にデフォルトとなった高所得者と低所得者の間で真の正のレート(リコール)である。
論文 参考訳（メタデータ） (2026-08-08T15:57:15Z) - Relative Score Policy Optimization for Diffusion Language Models [29.344961499429257]
拡散大言語モデル(dLLMs)は、並列かつ効率的なテキスト生成への有望な経路を提供する。
抽出可能なシーケンスレベルのログ比の欠如により、既存の手法は高分散ELBOベースの近似に頼らざるを得なくなった。
textbfRelative textbfScore textbfPolicy textbfOptimization (RSPO)を提案する。
論文 参考訳（メタデータ） (2026-05-11T08:58:40Z) - Architecture-agnostic Lipschitz-constant Bayesian header and its application to resolve semantically proximal classification errors with vision transformers [0.0]
この研究は、アーキテクチャに依存しないリプシッツ・コンスタント・ベイジアンヘッダを示し、視覚変換器のような特徴抽出器に統合することができる。
また,不確実性と不確かさを誤分類率で捉えるための新しい指標と,適応型算術・平均融合方式を提案する。
モンテカルロサンプリングにより計算コストは上昇するが、事前に訓練されたバックボーンとのプラグ・アンド・プレイの互換性を提供する。
論文 参考訳（メタデータ） (2026-05-07T09:18:06Z) - Beyond Semantic Relevance: Counterfactual Risk Minimization for Robust Retrieval-Augmented Generation [19.888565537472363]
CoRM-RAG(Counterfactual Risk Minimization for RAG)は、検索と意思決定の安全性を一致させるフレームワークである。
トレーニング中にユーザのバイアスをシミュレートする認知摂動プロトコルを導入し,それを軽量なエビデンス・クリティカルに蒸留する。
このスコアリングモジュールは、対向的なクエリの摂動にも拘わらず、モデルの正しさを判断するために十分な明らかな強度を持つ文書を特定することを学習する。
論文 参考訳（メタデータ） (2026-05-02T07:22:24Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳（メタデータ） (2026-02-27T05:22:01Z) - Thinking by Subtraction: Confidence-Driven Contrastive Decoding for LLM Reasoning [58.331709210563616]
サブトラクションによる思考は、信頼主導のコントラスト的デコーディングアプローチである。
低信頼トークンの小さなサブセットは、誤りの推論と不要な出力拡大に不当に寄与する。
信頼駆動型コントラストデコーディング(Confidence-Driven Contrastive Decoding)は,デコーディング中の低信頼トークンを検出し,それらの位置で介入する。
論文 参考訳（メタデータ） (2026-02-20T14:13:22Z) - Towards Anytime-Valid Statistical Watermarking [63.02116925616554]
我々は、任意の時間価推論で最適なサンプリングを統一する、最初のe-value-based watermarking frameworkであるAnchored E-Watermarkingを開発した。
本フレームワークはサンプル効率を大幅に向上させ,最先端のベースラインに対して,検出に必要な平均トークン予算を13～15%削減する。
論文 参考訳（メタデータ） (2026-02-19T18:32:26Z) - RaCoT: Plug-and-Play Contrastive Example Generation Mechanism for Enhanced LLM Reasoning Reliability [12.67288560758937]
本稿では,RaCoT(Retrieval-aware Contrastive-of-Thought)を提案する。
RaCoTは、解答の発散を決定する重要な詳細に積極的に焦点を合わせるようモデルに誘導する。
論文 参考訳（メタデータ） (2025-10-26T15:06:44Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z) - Efficient and Sharp Off-Policy Evaluation in Robust Markov Decision Processes [44.974100402600165]
意思決定プロセス(MDP)に対する最良パラメトリックかつ最悪の摂動の評価について検討する。
我々は、元のMDPからの遷移観測を用いて、それらが同一または異なるポリシーの下で生成されるかのどちらかを判断する。
我々の推定器はウォルドの信頼区間を用いた統計的推測も行う。
論文 参考訳（メタデータ） (2024-03-29T18:11:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。