論文の概要: Can a Model Catch Its Own Hallucinations for Free?: Label-Free Doubt Signals Hold Their Own Against a Labelled Dataset for Abstention

• arxiv url: http://arxiv.org/abs/2608.26121v1
• Date: Fri, 19 Jun 2026 14:41:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.351774
• Title: Can a Model Catch Its Own Hallucinations for Free?: Label-Free Doubt Signals Hold Their Own Against a Labelled Dataset for Abstention
• Title（参考訳）: モデルが独自の幻覚を自由にキャッチできるか?:ラベルなしの二重信号は、アテンションのためのラベル付きデータセットに対抗できる
• Abstract要約: 大規模な言語モデルでは、偽事実は真の事実と同程度に流動的であるが、内面が不安定な場合、モデルはしばしば内部で「知る」。 フリーでラベルを必要としないモデル自身の自信が、代わりにその仕事をできるかどうかを問う。 私たちは各モデルを微調整して、その凍結した信頼度が高いときに答え、低い時に“私は確信していない”と答えます。
• 参考スコア（独自算出の注目度）: 0.08599681538174887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models state false facts as fluently as true ones, yet a model often "knows" internally when it is on shaky ground: the probability it assigns to its own answer tends to dip on the facts it gets wrong. The usual way to act on this, teaching a model to abstain rather than guess, requires a labelled dataset of right and wrong answers. We ask whether the model's own confidence, which is free and needs no labels, can do that job instead. We fine-tune each model (with LoRA) to answer when its frozen confidence is high and to say "I'm not sure" when it is low, using the signal alone and no correctness labels. Across six open-weights models (1B-8B, two families) on short-form factual question answering, with correctness adjudicated by an independent judge model, this label-free recipe holds its own against label-supervised abstention-tuning: at matched coverage we find no statistically detectable difference between the two. A control that drills hard examples instead of abstaining does not help, indicating the gain comes from calibration, not rote memorization. The signal's one blind spot is confidently wrong facts, which it cannot flag. A model's own doubt is thus a near-free substitute for a labelled dataset when teaching it when to abstain. Code and artifacts are available on request.
• Abstract（参考訳）: 大規模な言語モデルでは、偽事実を真事実のように流動的に記述するが、内面が不安定な場合、モデルが内面的に「知る」ことがしばしばある。 モデルに推測よりも断ち切るように教える通常の方法では、正しい答えと間違った答えのラベル付きデータセットが必要です。 フリーでラベルを必要としないモデル自身の自信が、代わりにその仕事をできるかどうかを問う。 各モデル(LoRAで)を微調整し、その凍結した信頼度が高いとき、そして低いとき「私は確信していない」と答え、信号のみを使用し、正当性ラベルがないときに答える。 6つのオープンウェイトモデル(1B-8B, 2ファミリー)にまたがって, 独立した判断モデルにより正当性を判断し, このラベルフリーレシピはラベル教師付き禁忌訓練に対して独自のものとなる: 一致したカバレッジでは, 統計的に検出可能な差は見つからない。 吸収ではなく硬いサンプルをドリルする制御は役に立たないので、利得はロート記憶ではなくキャリブレーションによるものであることが示される。 信号の1つの盲点は、確実に間違った事実であり、フラグを立てることはできない。 したがって、モデル自身の疑念は、ラベル付きデータセットのほぼ自由な代用である。 コードとアーティファクトは、要求に応じて利用できる。

関連論文リスト

• A Lie Detector Test for Language Models: Reading Knowledge a Model Won't Reveal [0.11280931253550518]
  内部認識のプローブ (Probe of Internal Recognition, PIR) は、有罪な知識を識別する法医学的手法である。 モデルの内部状態から、モデルが正しいと認識する候補に質問を提示し、読み出す。 PIRは、認識された回答を0.70から0.87のバランスの取れた精度で回復し、0.28から0.40の未知の基準線と0.25の確率速度よりもはるかに高い。
  論文  参考訳（メタデータ） (2026-09-18T16:57:00Z)
• On the Robustness of LLMs' Internal Representation of Code Correctness [0.3653697742557465]
  研究によると、モデル自身の信頼信号は、実際の正確さで十分に校正されていない。 最近の研究は、モデルのトークンレベルや記述された信頼度よりも、候補ソリューションを判断できるコード正当性の内部シグナルを捉えている。 本研究では, モデル内部からどのように信号が抽出されるかを, 系統的に検討する。
  論文  参考訳（メタデータ） (2026-08-08T17:56:31Z)
• LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning [6.241883798820154]
  モデル間コンセンサス(モデル間コンセンサス)について検討し、独立に訓練されたモデル(各モデルが一度解ける程度)が最終解に一致するかを検討した。 パネルをLCM判定として扱い、合意の構造は、他のモデルのスコアではなく、検証信号である。 3つのパネル統計値から平均絶対誤差0.03$までのコンセンサス精度を予測する。
  論文  参考訳（メタデータ） (2026-07-11T05:57:54Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Self-Harmony: Learning to Harmonize Self-Supervision and Self-Play in Test-Time Reinforcement Learning [48.14470449860784]
  テスト時強化学習(TTRL)は、推論時に合成信号のみを使用してモデルを適応するためのラベルなしパラダイムを提供する。 簡単な直感に基づくフレームワークであるSelf-Harmonyを紹介します。
  論文  参考訳（メタデータ） (2025-11-03T03:34:34Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。