論文の概要: Strong yet Controllable LLM Abstention without Learning to Abstain
- arxiv url: http://arxiv.org/abs/2610.16318v1
- Date: Mon, 12 Oct 2026 07:41:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 06:28:50.551113
- Title: Strong yet Controllable LLM Abstention without Learning to Abstain
- Title（参考訳）: 頑強で制御可能なLLM吸収
- Abstract要約: 大型言語モデル(LLM)は、誤る可能性のある質問を控えることで幻覚を減らすことができる。
抑止訓練は, 主に回答が良く, 成績がよいことを示す。
これが電車の正確性、次にポストホックセレクト(TAPS)を動機づける
- 参考スコア（独自算出の注目度）: 37.39949549564855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) can reduce hallucination by abstaining from questions they would likely get wrong. Abstention can be implemented outside the model (selective answering) using a confidence threshold that controls the answer rate (coverage), or learned inside it (abstention training), which can perform better but fixes coverage once trained. To compare the two, we match their coverage and decompose risk (error rate) into answering ability and distinguishing ability, i.e., how well the model answers and how accurately it abstains, respectively. The decomposition shows that abstention training performs better mainly by answering better: with strong confidence estimators, the two have nearly equal distinguishing ability. This motivates Train for Accuracy, then Post-hoc Select (TAPS), a modular approach that keeps coverage controllable, needs only standard post-training and an off-the-shelf confidence estimator, and benefits from advances in either component. Across three LLMs and three factual QA benchmarks, TAPS with a probing-based confidence estimator attains 1.5--9.4 percentage points lower mean risk than three representative abstention training methods at matched coverage. Within TAPS, accuracy training often weakens the model's own confidence signals, yet refitting the estimator largely preserves distinguishing ability. Together, these results establish TAPS as a strong yet controllable baseline and raise the bar for future abstention training: sacrificing control over coverage should yield gains beyond what can be achieved by optimizing answering and abstaining separately.
- Abstract（参考訳）: 大型言語モデル(LLM)は、誤る可能性のある質問を控えることで幻覚を減らすことができる。
モデルの外部(選択的な回答)では、回答率(カバレッジ)を制御する信頼しきい値を使用して、あるいはその内部で学んだ(アテンショントレーニング)を使って、より良いパフォーマンスを達成できるが、一度トレーニングされたカバレッジを修正できる。
この2つを比較するために、我々は、それらのカバレッジとリスク(エラー率)を解答能力と識別能力、すなわち、モデルがどれだけうまく答え、どれだけ正確に吸収するかに一致させる。
その結果, 強い信頼度推定器では, ほぼ同一の識別能力を有することが明らかとなった。
これはTrain for Accuracyをモチベーションし、次にPost-hoc Select(TAPS)という、カバレッジをコントロール可能なモジュール型のアプローチで、標準のポストトレーニングとオフザシェルの信頼性推定器のみを必要とします。
3つのLCMと3つの実数QAベンチマークのうち、確率に基づく信頼度推定器を持つTAPSは、一致したカバレッジにおいて3つの代表的な禁忌訓練方法よりも平均リスクが1.5-9.4ポイント低い。
TAPS内では、精度のトレーニングはモデル自身の信頼性シグナルを弱めることが多いが、推定器の再適合は、主に識別能力を保っている。
これらの結果は,TAPSを強力な制御可能なベースラインとして確立し,将来の禁制トレーニングの限界を高くする。
関連論文リスト
- Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection [0.0]
モデル自体または別のコンポーネントをトレーニングして、回答を確認します。
TriviaQAでは、平均カバレッジは20.2%から30.9%に増加した。
NQ-Openでは、セレクタはフィルタのしきい値平均ユーティリティを改善するが、常に無視するよりもパフォーマンスが悪い。
論文 参考訳（メタデータ） (2026-10-09T16:33:27Z) - Shared Experience, Separate Learning: Companion Confidence Calibration for LLMs [72.45153081761715]
本研究では,能力向上とともに信頼度が学習されるエンファンコンカレント信頼度校正について検討する。
隠れ状態のロールアウトや検証者による正当性監視から軽量なコンパニオンを訓練する textbfCoCal を導入する。
Qwen3-8BとQwen3-14Bの実験は、タスク性能を犠牲にすることなく、CoCalが信頼性評価を改善することを示した。
論文 参考訳（メタデータ） (2026-09-27T16:25:09Z) - Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。
これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
論文 参考訳（メタデータ） (2026-09-26T21:56:26Z) - The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。
本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
論文 参考訳（メタデータ） (2026-04-18T04:43:40Z) - I-CALM: Incentivizing Confidence-Aware Abstention for LLM Hallucination Mitigation [2.688126466709795]
大規模言語モデル(LLM)は、自信はあるが誤った答えをしばしば生み出す。
モデルを変更することなく、即時のみの介入が幻覚リスクを低減できるかどうかを検討する。
結果から,本フレームワークは質問に対する選択的な回答を,再学習なしに改善できることが示された。
論文 参考訳（メタデータ） (2026-04-05T00:15:41Z) - Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。
決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。
NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
論文 参考訳（メタデータ） (2026-03-29T18:52:01Z) - When Silence Is Golden: Can LLMs Learn to Abstain in Temporal QA and Beyond? [34.471723373734605]
大型言語モデル(LLM)は、しばしば不確実性を認めず、(答えを拒否する)棄却するよりも、しばしば流動的であるが誤解を招く答えを生み出す。
この弱点は、時間差のある証拠や事実を、異なる期間にわたってしばしば無視する時間差質問応答においてさえ明らかである。
キャリブレーションのような既存のアプローチは、複雑な推論において不確実性を捉えるには信頼できないかもしれない。
我々は、禁忌を教育可能なスキルとみなし、禁忌を意識した報酬によって導かれる強化学習(RL)とCoT(Chain-of-Thought)の監督を結びつけるパイプラインを導入する。
論文 参考訳（メタデータ） (2026-02-04T16:54:47Z) - Rewarding Intellectual Humility Learning When Not To Answer In Large Language Models [0.0]
大規模言語モデル(LLM)は、しばしば幻覚的または検証不能なコンテンツを生成し、その信頼性を現実のドメインで損なう。
本研究は,知的謙虚を助長するために,正当性とともに棄権を明言する訓練パラダイムとして,検証リワードを用いた強化学習(RLVR)について検討する。
論文 参考訳（メタデータ） (2026-01-27T23:42:07Z) - Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation [12.503662455234954]
現代の言語モデルでは、誤った回答が破滅的な結果をもたらす場合でも、自信ある幻覚が生じることを示す。
RLVR(Reinforceed Hesitation)は,2進法ではなく3進法を用いた強化学習(Reinforcement Learning from Verifiable Rewards, RLVR)の修正である。
論文 参考訳（メタデータ） (2025-11-14T17:20:45Z) - Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。
このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。
人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
論文 参考訳（メタデータ） (2024-04-16T23:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。