論文の概要: The Sufficiency-Conciseness Trade-off in LLM Self-Explanation from an Information Bottleneck Perspective

• arxiv url: http://arxiv.org/abs/2602.14002v1
• Date: Sun, 15 Feb 2026 05:57:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.595028
• Title: The Sufficiency-Conciseness Trade-off in LLM Self-Explanation from an Information Bottleneck Perspective
• Title（参考訳）: 情報基盤の観点からみたLCM自己説明における満足度・簡潔性トレードオフ
• Authors: Ali Zahedzadeh, Behnam Bahrak,
• Abstract要約: 本稿では, 正解を正当化する説明能力として定義された十分性と, 説明長の短縮として定義された簡潔さのトレードオフについて検討する。 この視点を運用するために、説明の長さを制約し、複数の言語モデルを用いて十分性を評価する評価パイプラインを導入する。 実験の結果, より簡潔な説明が十分であり, 精度を保ちながら, 説明長を大幅に短縮する一方, 過度な圧縮は性能劣化を引き起こすことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models increasingly rely on self-explanations, such as chain of thought reasoning, to improve performance on multi step question answering. While these explanations enhance accuracy, they are often verbose and costly to generate, raising the question of how much explanation is truly necessary. In this paper, we examine the trade-off between sufficiency, defined as the ability of an explanation to justify the correct answer, and conciseness, defined as the reduction in explanation length. Building on the information bottleneck principle, we conceptualize explanations as compressed representations that retain only the information essential for producing correct answers.To operationalize this view, we introduce an evaluation pipeline that constrains explanation length and assesses sufficiency using multiple language models on the ARC Challenge dataset. To broaden the scope, we conduct experiments in both English, using the original dataset, and Persian, as a resource-limited language through translation. Our experiments show that more concise explanations often remain sufficient, preserving accuracy while substantially reducing explanation length, whereas excessive compression leads to performance degradation.
• Abstract（参考訳）: 大規模言語モデルは、多段階の質問応答のパフォーマンスを改善するために、思考推論の連鎖のような自己説明にますます依存している。 これらの説明は正確性を高めるが、しばしば冗長でコストがかかるため、どの程度の説明が本当に必要かという疑問が提起される。 本稿では,正解を正当化する説明能力として定義された十分性と,説明長の短縮として定義された簡潔さのトレードオフについて検討する。 本稿では,情報ボトルネックの原理に基づいて,正しい回答を生成するために必要な情報のみを保持する圧縮表現としての説明を概念化し,この視点を運用するために,ARC Challengeデータセット上で複数の言語モデルを用いて説明の長さを制限し,十分性を評価する評価パイプラインを導入する。 この範囲を広げるために、原文のデータセットとペルシャ語を翻訳によるリソース制限言語として用いて、英語と英語の両方で実験を行う。 実験の結果, より簡潔な説明が十分であり, 精度を保ちながら, 説明長を大幅に短縮する一方, 過度な圧縮は性能劣化を引き起こすことがわかった。

関連論文リスト

• Are We Merely Justifying Results ex Post Facto? Quantifying Explanatory Inversion in Post-Hoc Model Explanations [87.68633031231924]
  ポストホックな説明法は、入力特徴に対する予測に起因する解釈を提供する。 これらの説明は、インプットとアウトプットの自然な関係を意図せずに逆転させるだろうか? Inversion Quantification (IQ) は、説明が出力に依存する程度を定量化し、忠実なインプット・アウトプット関係から逸脱するフレームワークである。
  論文  参考訳（メタデータ） (2025-04-11T19:00:12Z)
• FaithLM: Towards Faithful Explanations for Large Language Models [60.45183469474916]
  大規模言語モデルの忠実度を評価し改善するモデルに依存しないフレームワークであるFaithLMを紹介した。 FaithLMは一貫して忠実度を高め、強い自己説明ベースラインよりも人間の合理性に整合した説明を生成する。
  論文  参考訳（メタデータ） (2024-02-07T09:09:14Z)
• Towards More Faithful Natural Language Explanation Using Multi-Level Contrastive Learning in VQA [7.141288053123662]
  視覚的質問応答(VQA-NLE)における自然言語の説明は,ブラックボックスシステムに対するユーザの信頼を高めるために,自然言語文を生成することによって,モデルの意思決定プロセスを説明することを目的としている。 既存のポストホックな説明は、人間の論理的推論と常に一致している訳ではなく、1) 誘惑的不満足な説明は、生成した説明が論理的に答えに繋がらないこと、2) 現実的不整合性、2) 画像上の事実を考慮せずに解答の反事実的説明を偽示すること、3) 意味的摂動の過敏性、モデルは、小さな摂動によって引き起こされる意味的変化を認識できないこと、である。
  論文  参考訳（メタデータ） (2023-12-21T05:51:55Z)
• Evaluation of Automatically Constructed Word Meaning Explanations [0.0]
  非常に大規模なコーパスからの集合情報に基づいて,説明を自動的に導き出す新しいツールを提案する。 提案手法は,約90%のケースにおいて,単語の意味を理解するのに有用なデータを含む説明を作成できることを示す。
  論文  参考訳（メタデータ） (2023-02-27T09:47:55Z)
• Explanation Regeneration via Information Bottleneck [29.92996769997743]
  本研究では,情報ボトルネック手法 EIB を開発し,十分かつ簡潔な説明文を生成する。 提案手法は,事前学習された言語モデルからの単一パス出力を洗練することにより,自由テキストの説明を再生する。
  論文  参考訳（メタデータ） (2022-12-19T16:41:19Z)
• Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
  テキストデータ上でのサリエンシに基づく説明について検討する。 人はしばしば説明を誤って解釈する。 本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-27T15:20:32Z)
• Discrete Reasoning Templates for Natural Language Understanding [79.07883990966077]
  我々は,複雑な質問をより単純な質問に分解する手法を提案する。 事前定義された推論テンプレートの指示に従って最終回答を導出する。 我々のアプローチは、解釈可能でありながら最先端技術と競合し、監督をほとんど必要としないことを示す。
  論文  参考訳（メタデータ） (2021-04-05T18:56:56Z)
• Towards Interpretable Natural Language Understanding with Explanations as Latent Variables [146.83882632854485]
  そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。 我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
  論文  参考訳（メタデータ） (2020-10-24T02:05:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。