論文の概要: Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection

• arxiv url: http://arxiv.org/abs/2610.13821v1
• Date: Fri, 09 Oct 2026 16:33:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.687527
• Title: Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection
• Title（参考訳）: 言語モデルはいつ達成するかを学習できるか? : 政策学習と回答選択
• Abstract要約: モデル自体または別のコンポーネントをトレーニングして、回答を確認します。 TriviaQAでは、平均カバレッジは20.2%から30.9%に増加した。 NQ-Openでは、セレクタはフィルタのしきい値平均ユーティリティを改善するが、常に無視するよりもパフォーマンスが悪い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A useful language model should know when to answer and when to say "I don't know." Can we improve that decision by training the model itself or by training a separate component to check its answers? We study both approaches on Qwen3-14B for factual questions, using a score that rewards correct answers, penalizes mistakes, and allows abstention. Across three training seeds and two held-out confidence thresholds, a learned answer selector improves threshold-averaged utility over the original model's calibrated confidence filter. On TriviaQA, mean coverage increases from 20.2% to 30.9%, while the pooled error rate among scored answers decreases from 23.0% to 14.5% under exact-match grading. The tested reinforcement-learning changes do not establish consistent gains. On NQ-Open, the selector improves threshold-averaged utility over the filter but still performs worse than always abstaining. A partial human-reviewed audit preserves the TriviaQA finding. Our results support learning to select answers in this setting while showing that reliable abstention across datasets remains unresolved.
• Abstract（参考訳）: 有用な言語モデルは、いつ答えるべきなのか、いつ答えるべきなのかを知っておくべきです。 モデル自体をトレーニングしたり、別のコンポーネントをトレーニングして回答をチェックすることで、意思決定を改善することができるでしょうか? 本研究は,Qwen3-14Bにおいて,正解を報奨し,誤りを罰し,棄却を許すスコアを用いて,事実質問に対する2つのアプローチについて検討する。 3つのトレーニングシードと2つの保持された信頼しきい値に対して、学習された回答セレクタは、元のモデルのキャリブレーションされた信頼度フィルタよりも平均的な実用性を向上させる。 TriviaQAでは、平均カバレッジは20.2%から30.9%に増加し、スコアされた回答のプールされたエラー率は、正確なマッチグレードで23.0%から14.5%に減少する。 テストされた強化学習の変更は、一貫した利得を確立しない。 NQ-Openでは、セレクタはフィルタのしきい値平均ユーティリティを改善するが、常に無視するよりもパフォーマンスが悪い。 部分的に人間レビューされた監査は、TriviaQAの発見を保存する。 この設定では,データセット間の信頼性の保留が未解決であることを示しながら,回答の選択の学習を支援する。

関連論文リスト

• When Should LLMs Trust Their Own Revisions? A Risk-Aware Study of Intrinsic Self-Correction [29.91953104203498]
  内在的な自己訂正は、新たな外部証拠を受け取らずに、言語モデルに自身の回答を改訂するよう要求する。 第2のパスはミスを回復できるが、すでに正しい回答を覆すこともできる。 このトレードオフを,BoolQ,GSM8K,Corr2Cause上で29個のオープンウェイトLLMに対して検討した。
  論文  参考訳（メタデータ） (2026-09-23T21:05:53Z)
• Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
  モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。 3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。 選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。 候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
  論文  参考訳（メタデータ） (2026-09-09T08:29:00Z)
• A decodability criterion predicts when hidden-state selection beats majority voting in large language models [10.860308169044679]
  本稿では,解答点隠れ状態の線形ゲートを訓練し,最上位候補を選択する動的選択結合器を提案する。 その主な貢献は、解答可能性(deodability)であり、ゲートが質問の正しい候補をどれだけ正確にランクづけしているかの漏れのない尺度である。
  論文  参考訳（メタデータ） (2026-08-17T21:02:10Z)
• Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
  大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。 自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。 プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。 トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
  論文  参考訳（メタデータ） (2026-05-20T17:26:10Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Reliable Visual Question Answering: Abstain Rather Than Answer Incorrectly [100.60560477391732]
  我々は、信頼性のある視覚的質問応答(VQA)のための問題定式化を促進する。 私たちは、彼らのカバレッジ、回答された質問の一部、そしてその部分のエラーの両方を分析します。 最高のパフォーマンスモデルは、VQA v2データセットで71%以上の精度を達成するが、そのオプションを導入することで、低いエラー(1%)のリスクを達成するために、8%未満の質問に答えることが制限されることがわかった。 これにより、マルチモーダル選択関数を用いて、予測された回答の正しさを直接推定し、例えば5.0%から16.7%のカバレッジを3倍にすることができることを示す。
  論文  参考訳（メタデータ） (2022-04-28T16:51:27Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。