論文の概要: What LLMs explain is not what they believe: Evaluating explanation sufficiency under models' own input beliefs
- arxiv url: http://arxiv.org/abs/2606.28615v1
- Date: Fri, 26 Jun 2026 21:14:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.618975
- Title: What LLMs explain is not what they believe: Evaluating explanation sufficiency under models' own input beliefs
- Title（参考訳）: LLMが説明することは、彼らが信じるものではない: モデル自身の入力信念に基づく説明十分性の評価
- Abstract要約: 大規模言語モデル(LLM)は、高い領域に徐々にデプロイされている。
これらの説明がモデルの出力生成過程を説明するのに十分かどうかは不明である。
本稿では,自由文説明の評価を可能にする情報理論計量 SCSuff を提案する。
- 参考スコア（独自算出の注目度）: 30.540142439631072
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed in high-stakes domains, where free-text explanations such as chain-of-thought and post-hoc rationales are used to justify model outputs. Yet it remains unclear whether these explanations are sufficient, i.e., if they contain enough information to explain the model's output-generating process. We generalize classical sufficiency from feature attributions to arbitrary explanations and prove that explanation sufficiency can change depending on the input distribution, which must be explicitly defined for LLM explanations. We propose using the LLM itself to generate alternative inputs conditioned on an explanation, capturing its beliefs about possible inputs. We formalize self-consistent sufficiency as a goal for free-text explanations and introduce an information-theoretic metric, SCSuff, that enables evaluation of free-text explanations without relying on predefined biases or shortcuts. Our experiments show that SCSuff agrees with targeted perturbation tests where applicable and demonstrate that explanation sufficiency can vary with the input distribution. We find LLM explanations are generally insufficient and weakly correlated with model size, accuracy, or output entropy. Analysis of final-token hidden states shows that top and bottom SCSuff scores can be predicted from internal representations, suggesting that SCSuff can guide detection and improvement of sufficient LLM explanations. The code for this paper is available at https://github.com/rajesh-lab/self-consistent-sufficiency .
- Abstract（参考訳）: 大規模言語モデル(LLM)は、チェーン・オブ・シンクやポストホック論理といった自由テキストの説明をモデル出力の正当化に使用する、ハイテイクなドメインにますます多くデプロイされている。
しかし、これらの説明が十分であるかどうか、すなわち、モデルの出力生成過程を説明するのに十分な情報を持っているかどうかは不明である。
特徴属性から任意の説明への古典的充足度を一般化し、LLM説明に明示的に定義しなければならない入力分布に応じて説明充足度が変化できることを証明する。
我々は LLM 自体を用いて、説明に基づく代替入力を生成し、可能な入力についての信念を捉えることを提案する。
我々は,自由文説明の目的として自己整合性満足度を定式化し,事前定義されたバイアスやショートカットに頼ることなく,自由文説明の評価を可能にする情報理論計量(SCSuff)を導入する。
実験の結果,SCSuffは対象摂動試験と一致し,入力分布に応じて説明精度が変化することを示した。
LLMの説明は一般に不十分であり、モデルのサイズ、精度、出力エントロピーと弱い相関関係にある。
最終トーケン隠れ状態の解析は、内部表現からSCSuffの上位と下位のスコアを予測できることを示し、SCSuffが十分なLCM説明の検出と改善をガイドできることを示唆している。
この論文のコードはhttps://github.com/rajesh-lab/self-consistent-sufficiency で公開されている。
関連論文リスト
- Explaining is Harder Than Predicting Alone: Evaluating Concept-based Explanations of MLLMs as ICL Visual Classifiers [0.47248250311484113]
In-context Learning (ICL) は、マルチモーダルな大言語モデル(MLLM)をラベル付き例から分類することを可能にする。
数発のICL条件下での凍結MLLMの概念に基づく説明可能性について, 形式的厳密度を増大させる5つの条件を用いて検討した。
論文 参考訳（メタデータ） (2026-05-27T09:32:34Z) - Faithfulness Serum: Mitigating the Faithfulness Gap in Textual Explanations of LLM Decisions via Attribution Guidance [57.17102098930037]
大規模言語モデル(LLM)は高い性能を達成し、NLPに革命をもたらした。
説明責任の欠如はブラックボックスとして扱われ、透明性と信頼を求めるドメインでの使用を制限する。
本研究では,注意レベルの介入を通じて説明生成を導くことにより,信頼感を高める訓練自由手法を提案する。
論文 参考訳（メタデータ） (2026-04-15T18:32:32Z) - From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。
我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。
LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
論文 参考訳（メタデータ） (2026-04-01T11:40:12Z) - Training Language Models to Explain Their Own Computations [73.8562596518326]
本研究では,LMの自己内部への特権的アクセスをどの程度活用できるかを考察し,その振る舞いを説明するための新しい手法を提案する。
既存の解釈可能性技術を用いて,(1)LM特徴によって符号化された情報,(2)LMの内部アクティベーションの因果構造,(3)特定の入力トークンがLM出力に与える影響の自然言語記述を生成する。
論文 参考訳（メタデータ） (2025-11-11T18:57:14Z) - Walk the Talk? Measuring the Faithfulness of Large Language Model Explanations [0.8949668577519213]
大規模言語モデル(LLM)は、質問に対する答えにどのように到達したかという、もっともらしい説明を生成することができる。
これらの説明はモデルの「合理的な」プロセス、すなわち、不誠実であるということを誤解することができる。
LLM説明の忠実度を測定するための新しい手法を提案する。
論文 参考訳（メタデータ） (2025-04-19T02:51:20Z) - Are We Merely Justifying Results ex Post Facto? Quantifying Explanatory Inversion in Post-Hoc Model Explanations [87.68633031231924]
ポストホックな説明法は、入力特徴に対する予測に起因する解釈を提供する。
これらの説明は、インプットとアウトプットの自然な関係を意図せずに逆転させるだろうか?
Inversion Quantification (IQ) は、説明が出力に依存する程度を定量化し、忠実なインプット・アウトプット関係から逸脱するフレームワークである。
論文 参考訳（メタデータ） (2025-04-11T19:00:12Z) - Beyond External Monitors: Enhancing Transparency of Large Language Models for Easier Monitoring [18.837335987273256]
大規模言語モデル(LLM)はますます有能化しつつあるが、その思考と意思決定プロセスのメカニズムはいまだ不明である。
本稿では,LCMの透明性を向上し,モニタが不適切かつ敏感な行動を特定するのに役立つ新しい方法TELLMEを提案する。
論文 参考訳（メタデータ） (2025-02-07T13:25:33Z) - Explanation sensitivity to the randomness of large language models: the case of journalistic text classification [6.240875403446504]
本研究では,大規模言語モデルの学習におけるランダム要素の影響について,その予測可能性について検討する。
微調整のCamemBERTモデルと、関連性伝播に基づく説明手法を用いて、異なるランダムシードを用いたトレーニングは、類似の精度であるが可変的な説明を伴うモデルを生成する。
論文 参考訳（メタデータ） (2024-10-07T14:39:45Z) - Evaluating Evidence Attribution in Generated Fact Checking Explanations [48.776087871960584]
我々は、新しい評価プロトコル、引用マスキングとリカバリを導入する。
我々は,自動アノテータとヒューマンアノテータの両方を用いてプロトコルを実装した。
実験により、最高の性能を持つLSMは、不正確な属性を持つ説明を生成することが明らかとなった。
論文 参考訳（メタデータ） (2024-06-18T14:13:13Z) - A Hypothesis-Driven Framework for the Analysis of Self-Rationalising
Models [0.8702432681310401]
我々はベイジアンネットワークを用いて、タスクの解決方法に関する仮説を実装している。
結果のモデルはGPT-3.5と強い類似性は示さない。
今後の作業において、LCM決定をよりよく近似するフレームワークの可能性だけでなく、これの意味についても論じる。
論文 参考訳（メタデータ） (2024-02-07T12:26:12Z) - FaithLM: Towards Faithful Explanations for Large Language Models [60.45183469474916]
大規模言語モデルの忠実度を評価し改善するモデルに依存しないフレームワークであるFaithLMを紹介した。
FaithLMは一貫して忠実度を高め、強い自己説明ベースラインよりも人間の合理性に整合した説明を生成する。
論文 参考訳（メタデータ） (2024-02-07T09:09:14Z) - Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial
Explanations of Their Behavior in Natural Language? [86.60613602337246]
我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。
LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。
マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
論文 参考訳（メタデータ） (2020-10-08T16:59:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。