論文の概要: The Alignment Paradox: How Post-Training Amplifies Confident Hallucinations in Language Models

• arxiv url: http://arxiv.org/abs/2609.32617v1
• Date: Sat, 26 Sep 2026 13:39:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:57:49.940698
• Title: The Alignment Paradox: How Post-Training Amplifies Confident Hallucinations in Language Models
• Title（参考訳）: 調整パラドックス--言語モデルにおける信頼の幻覚をいかに増幅するか
• Abstract要約: 大規模言語モデル(LLM)は、信頼度の高い事実的不正な回答を生成できる。 トレーニング後のアライメント自体が、これらのエラーの第一の要因である。 我々は、直接選好最適化においてエントロピー依存のマージンによってこの原理を実装している。
• 参考スコア（独自算出の注目度）: 10.263156820297997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can produce factually incorrect answers with high confidence, undermining their reliability and limiting the effectiveness of uncertainty-based error detection. While prior research attributes confident hallucinations to factors such as missing knowledge in training data, reasoning errors, or stochastic decoding, we uncover that post-training alignment itself is a primary driver of these errors, a phenomenon we call the \textbf{Alignment Paradox}. Across five model families evaluated on factual benchmarks, unaligned base models produce few high-confidence errors on long-tail factual queries, whereas instruction-tuned models multiply high-confidence errors ($p \ge 0.95$) by more than an order of magnitude (10$\times$ to 35$\times$). Layer-wise probing with the Logit Lens reveals that this overconfidence emerges in late layers, where wrong-answer margins expand past 4.0 points after remaining near zero across early and intermediate layers. These findings motivate limiting margin growth during post-training. We implement this principle through an entropy-dependent margin bound in direct preference optimization (DPO). In multi-epoch experiments with Mistral-7B, the bounded objective reduces high-confidence errors by up to 35.3\% relative to standard DPO while maintaining performance on evaluated general reasoning benchmarks. These results show that bounded margins mitigate confident hallucinations during post-training.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、信頼度が高く、信頼性を損なうとともに、不確実性に基づく誤り検出の有効性を制限して、事実的に誤った回答を生成することができる。 事前の研究は、トレーニングデータにおける知識の欠如、推論エラー、確率的復号化などの要因に自信ある幻覚を特徴付けるが、トレーニング後のアライメント自体がこれらのエラーの第一の要因であることは明らかであり、この現象は、ここでは「textbf{Alignment Paradox}」と呼ぶ。 実数ベンチマークで評価された5つのモデルファミリのうち、非整合ベースモデルは、長いテールの事実クエリに対して高い信頼度エラーをほとんど生成しないが、命令チューニングモデルでは、桁違い(10$\times$から35$\times$)以上の高信頼度エラー(p \ge 0.95$)を乗算する。 Logit Lensによるレイヤーワイド探索は、この過信が後期層に出現し、初期層と中間層をほぼゼロに保った後に、解答のマージンが4.0ポイントを超えて拡大することを示している。 これらの所見は,訓練後のマージン増加を抑制することの動機となった。 この原理は、直接選好最適化(DPO)においてエントロピー依存のマージンによって実現される。 Mistral-7Bを用いたマルチエポジカルな実験では、評価された一般的な推論ベンチマークのパフォーマンスを維持しながら、高信頼度エラーを標準DPOと比較して最大35.3\%削減する。 これらの結果から,有界マージンは訓練後,自信ある幻覚を緩和することが示された。

関連論文リスト

• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• Reinforcement Inference: Leveraging Uncertainty for Self-Correcting Language Model Reasoning [0.0]
  強化推論(Reinforcement Inference)は、モデル自身の不確実性を使用して、第二の、より意図的な推論の試みを選択的に呼び出す。 12,032のMMLU-Pro質問では、DeepSeek-v3.2を使ってゼロショット設定で決定論的デコーディングを行い、Reinforcement Inferenceは精度を60.72%から84.03%に改善した。
  論文  参考訳（メタデータ） (2026-02-09T11:08:24Z)
• Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency [78.91846841708586]
  完全な自己整合性で答えられた事実でさえ、軽微な文脈干渉の下で急速に崩壊することを示します。 本研究では,概念的近傍における応答コヒーレンスを評価する信念の構造尺度であるNighbor-Consistency Belief(NCB)を提案する。 また、文脈不変の信念構造を最適化し、長い知識の脆さを約30%低減する構造意識訓練(SAT)を提案する。
  論文  参考訳（メタデータ） (2026-01-09T16:23:21Z)
• Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning [32.32593439144886]
  振舞い校正された強化学習により、小さなモデルは不確実な定量化においてフロンティアモデルを超えることができる。 当社のモデルでは,GPT-5の0.207を超える精度向上率(0.806)を挑戦的なドメイン内評価において達成している。
  論文  参考訳（メタデータ） (2025-12-22T22:51:48Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。