論文の概要: The Commit-Abstain Circuit: Why Language Models Hallucinate Instead of Abstaining

• arxiv url: http://arxiv.org/abs/2609.32964v2
• Date: Tue, 29 Sep 2026 05:10:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.631027
• Title: The Commit-Abstain Circuit: Why Language Models Hallucinate Instead of Abstaining
• Title（参考訳）: 許容回路:なぜ言語モデルが持続する代わりに幻覚するのか
• Abstract要約: 言語モデル(LM)は、確実に答える十分な情報を持っていなくても、断固として答えることよりも自信を持って答えることによって幻覚することが多い。 我々は、この決定を機械的分析、フレーミング幻覚を伴わないコミットメントを通じて研究する。 我々は、この決定の根底にある注目ヘッドとサブレイヤのスパースで因果的に局所化されたサブセットであるCommitAbstain Circuit (CAC)を同定する。
• 参考スコア（独自算出の注目度）: 38.63002496590365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) often hallucinate by committing to confident answers rather than abstaining, even when they do not have enough information to answer reliably. A large body of existing work mitigates hallucination through detection or abstention mechanisms, but leaves open how models internally arrive at the decision to commit or abstain in the first place. We study this decision through mechanistic analysis, framing hallucination as unsupported commitment: the model commits despite exhibiting signals of unanswerability. Using causal gating, we identify a Commit-Abstain Circuit (CAC), a sparse, causally localised subset of attention heads and MLP sublayers underlying this decision. Across ten LMs (3B-14B) from five families and three benchmarks, the CAC exhibits a recurring accumulate-yet-undercorrect pattern: commitment-promoting components build up commitment in earlier layers, while abstention-promoting components act later as corrective signals that are often insufficient to overturn the accumulated commitment. Building on this finding, a lightweight policy trained on CAC activations improves decision accuracy by 12.2 points over the model's intrinsic commit-abstain margin, reduces false abstentions by 2.5 times, transfers to unseen benchmarks, and extends to larger models (27B-35B). The CAC is both diagnostic, clarifying how models overcommit, and practical, enabling improved abstention decisions.
• Abstract（参考訳）: 言語モデル(LM)は、確実に答える十分な情報を持っていなくても、断固として答えることよりも自信を持って答えることによって幻覚することが多い。 既存の作業の大きな組織は、検出または禁制機構を通じて幻覚を緩和するが、モデルがそもそもコミットするか、または中断するかを内部でどのように決定するかを開放する。 我々は,この決定を,機械的解析,フレーミング幻覚を伴わないコミットメントを通じて研究する。 因果的ゲーティングを用いて、この決定の根底にある注意ヘッドとMPPサブレイヤのスパースで因果的局所化されたサブセットであるCommit-Abstain Circuit (CAC)を同定する。 CACは5つのファミリーと3つのベンチマークから10個のLM(3B-14B)にまたがって、繰り返し蓄積-yet-undercorrectパターンを示す: コミットメント-promotingコンポーネントは、以前のレイヤでのコミットメントを構築する一方、禁忌-promotingコンポーネントは後に、蓄積されたコミットメントを覆すのにしばしば不十分な修正シグナルとして機能する。 この発見に基づいて、CACアクティベーションに基づいてトレーニングされた軽量なポリシーは、モデル固有のコミット・アビデントマージンよりも12.2ポイント、偽のアビデントを2.5倍減らし、未確認のベンチマークに転送し、より大きなモデル(27B-35B)まで拡張する。 CACは、モデルが過度にコミットする方法を明確にし、棄権決定の改善を可能にする。

関連論文リスト

• Bridging the Detection-to-Abstention Gap in Reasoning Models under Insufficient Information [24.973717050514207]
  本研究は, 検出不良が最終棄権に変換されない場合に, 検出と回避のギャップを形式化する。 このギャップは、医療AIのようなリスクの高い領域において特に関係しており、不完全な証拠は拒絶よりも有害である可能性がある。 本稿では、モデルに明確な応答可能性のコミットメントを与えるための軌道レベルの推論制御フレームワークであるジャッジ・Then-Then(JTS)を提案する。
  論文  参考訳（メタデータ） (2026-05-27T07:28:25Z)
• MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
  マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。 本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。 本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
  論文  参考訳（メタデータ） (2026-04-25T14:15:05Z)
• Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
  テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。 現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。 MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T09:23:22Z)
• From Reasoning to Agentic: Credit Assignment in Reinforcement Learning for Large Language Models [3.651838585096184]
  大規模言語モデルの強化学習(RL)は、スパースで結果レベルの報酬にますます依存している。 我々は2024年から2026年にかけて発行された47のCA法を調査し,それらの分類を課題別に2次元分類で整理した。 我々は,(1)分類ラベル,ベースラインファミリー,エビデンスレベルを備えた構造化機械可読紙の在庫,(2)組織的方法論的ギャップを特定するための将来のCA論文の報告チェックリスト,(3)タスクファミリ,メタデータ要件,管理された分岐タスクを備えたベンチマークプロトコル仕様の3つの再利用可能な資源をコントリビュートする。
  論文  参考訳（メタデータ） (2026-04-10T16:17:44Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。