論文の概要: Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute

• arxiv url: http://arxiv.org/abs/2609.19942v1
• Date: Thu, 17 Sep 2026 09:17:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.197142
• Title: Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute
• Title（参考訳）: 検索対象抽出QAにおける本質的順序様信頼--2つの事前特定否定と、それらが何をし、何をしないか-
• Abstract要約: オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。 我々は,実行前の基準下での両使用量を評価した。 検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
• 参考スコア（独自算出の注目度）: 0.4310167974376404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In extractive document question answering whose questions were generated from the passages that contain their answers -- so that retrieval recovers 92-99.8% of what any mode combination could reach, whatever its absolute accuracy -- confidence-driven mechanisms have little to gain. Fine-tuning an open language model on a specialized domain corpus yields a model whose own confidence is a tempting control signal: it could decide which queries warrant further adaptation, and which answers to trust. We evaluate both uses under criteria fixed before the runs were executed, across four 7-9B model families whose adaptation moved closed-book F1 by at most +0.03, and both fail: a distillation trigger on all four families, under its pre-specified three-step transfer budget, and a routing-and-abstention policy in its single-model pilot. Retrieval alone recovers 92-99.8% of best-case combined accuracy under every correctness criterion we test, leaving routers no meaningful gain. The sequence-likelihood signal is insufficient relative to that mode -- area under the receiver operating characteristic curve 0.65-0.81 under the registered criterion -- before adaptation as well as after, unchanged by scalar recalibration and not consistently improved by token-level temperature rescaling. And the finer diagnostics depend on the correctness criterion and on answer length; on the three adapted combinations where we could test it, selector ablations show no statistically detectable downstream benefit from the confidence term on any seed; on Gemma, removing it changes the selector from failing to passing both registered criteria. The usable product is a set of pre-specified negatives with their dependencies made explicit.
• Abstract（参考訳）: 回答を含む通路から質問が生成される抜粋的な文書質問応答では、どのモードの組み合わせが到達したとしても、その絶対精度は92-99.8%を回収できるが、信頼性駆動メカニズムはほとんど得られない。 特殊なドメインコーパス上でオープン言語モデルを微調整すると、その信頼性が誘惑的な制御信号であるモデルが得られる。 本研究は, 運転前に固定された基準条件, 適応がクローズドブックF1を少なくとも0.03以上移動させた7-9Bモデルファミリ, および, 4つのファミリの蒸留トリガ, 予め指定された3段階移行予算, 単一モデルパイロットにおけるルーティング・アンド・アテンションポリシーの2つについて検討した。 Retrievalだけで、テストする正しさ基準ごとに92-99.8%のベストケースの組み合わせ精度が回復し、ルータは有意義な利益を得られない。 シークエンス様信号は、そのモード -- 登録基準の下での受信特性曲線 0.65-0.81 の領域 -- に対して不十分であり、その後、スカラー校正によって変化せず、トークンレベルの温度再スケーリングによって一貫して改善されない。 そして、より詳細な診断は、正当性基準と解答長に依存する; テスト可能な3つの適応された組み合わせにおいて、セレクタアブレーションは、どの種でも信頼度項から統計的に検出可能な下流の利点を示さない; Gemmaでは、セレクタを除去することで、両方の登録基準を通さないよう、セレクタを変更する。 使用可能な製品は、依存関係を明確にした、事前に特定された負のセットである。

関連論文リスト

• Predictive Likelihood Ratios for Language Model Watermark Detection [3.8200540264474907]
  キー付き透かし検出テストは、秘密鍵から再構成された観測トークンと擬似ランダム変数間の依存度である。 我々は、不確実な確率欠陥と残尾分布よりも平均となる予測可能性比を構築した。
  論文  参考訳（メタデータ） (2026-09-14T14:39:29Z)
• MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
  MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。 MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。 オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
  論文  参考訳（メタデータ） (2026-08-26T18:22:03Z)
• Asymptotic Risk Calibration for Selective Question Answering [0.0]
  大規模言語モデル(LLM)は、流動性があるが誤った答えを生成する。 A-CRC-QAは不確実性を考慮した質問応答のためのポストホックキャリブレーションフレームワークである。 A-CRC-QAはモデルに依存しず、追加のトレーニングを必要とせず、異なる不確実性推定器と組み合わせることができる。
  論文  参考訳（メタデータ） (2026-08-12T12:45:45Z)
• Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
  本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。 構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。 RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
  論文  参考訳（メタデータ） (2026-08-03T11:07:37Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• TRIAGE: Type-Routed Interventions via Aleatoric-Epistemic Gated Estimation in Robotic Manipulation and Adaptive Perception -- Don't Treat All Uncertainty the Same [2.755751829139168]
  ほとんどの不確実性を認識したロボットシステムは、予測の不確実性を単一のスカラースコアに分解し、それを使って一様に修正された応答をトリガーする。 このアグリゲーションは、破損した観測結果から不確実性が生じるか、あるいは学習されたモデルと真のシステム力学とのミスマッチから生じるのかを曖昧にしている。 本研究では,不確かさを動脈およびてんかん成分に分解する軽量なポストホックフレームワークを導入し,これらの信号を用いて推論時のシステム応答を調節する。
  論文  参考訳（メタデータ） (2026-03-09T09:07:43Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。