The Commit-Abstain Circuit: Why Language Models Hallucinate Instead of Abstaining
Abstractの概要
本論文では、生成前に行われる「コミット（回答）」対「棄権（回答保留）」の決定としてハルシネーションを捉え、回答不能であるという内部信号を保持しているにもかかわらず言語モデルが確信を持って回答してしまう理由を調査しています。著者らは生成前のロジットからコミット・棄権マージンを定義し、それをアテンションヘッドとMLPサブレイヤーによる加法的な寄与へと分解しました。10種類のアライメント済み言語モデルを対象に因果ゲーティングを用いることで、この決定を媒介する疎な「Commit-Abstain Circuit（CAC）」を特定しています。モデルやベンチマーク全体を通じて「蓄積するが修正不足（accumulate-yet-undercorrect）」というパターンが観察され、コミットを促すコンポーネントがネットワークの初期層で蓄積する一方、棄権を促すコンポーネントは後続層で作用し、蓄積されたコミットを覆すに至らないことが多いことが示されました。
新規性
本研究は、ハルシネーションを単なる知識不足や出力レベルの不具合としてだけではなく、根拠のないコミット（確信）として位置づけた機械論的な説明を提供します。アテンションヘッドとMLPサブレイヤーの疎で因果的に局所化されたサブセットであるCommit-Abstain Circuitを導入し、内部決定プロセスを解明するとともに軽量な棄権ポリシーを構築しました。
成果
コミット・棄権マージンは、全30のモデル・データセット構成において回答可能と回答不能な入力を偶然以上の精度で分離し、生成全体におけるコミット／棄権の挙動と平均97.6%で一致しました。特定されたCACは中央値でコンポーネントの5.2%を占め、介入実験によりコミット促進コンポーネントが識別構造を維持する一方で棄権促進コンポーネントが不十分な後半の修正として機能していることが確認されました。CACを活用したMLPは、比較対象のベースライン中で最も高い平均AUROCと決定精度を達成し、ゼロ閾値ベースラインと比べて精度を12.2ポイント向上させ、誤った棄権を2.5分の1に削減するとともに、評価された全24の分布外（OOD）構成すべてで精度を向上させました。
論文の注目点
- ロジットから生成前のコミット・棄権マージンを定式化し、ハルシネーションを根拠のないコミットとして分析した。
- 10種類の言語モデルで局所化された疎なCommit-Abstain Circuitにより、初期のコミット信号と後期の不十分な棄権修正からなる「蓄積するが修正不足」のパターンが明らかになった。
- CACコンポーネントの活性化から抽出された特徴量を用いることで、分布内および分布外の両方の評価において固有の閾値や既存ベースラインを上回る軽量な棄権ポリシーを実現した。