論文の概要: Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments

• arxiv url: http://arxiv.org/abs/2608.16747v1
• Date: Mon, 17 Aug 2026 15:57:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.788164
• Title: Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
• Title（参考訳）: これはあなたの答えを変えるだろうか? 反実実験による野生におけるLCM行動の説明
• Abstract要約: 本稿では,自然界における予期せぬモデル行動を特定する新しいエージェントパイプラインであるCHIVEを紹介し,それを反実的なプロンプト編集で検証する。 これにより、自然に発生するモデル行動について数千の高品質な説明が得られ、反実的な証拠が裏付けられる。 我々は,一般的なLLM解釈可能性技術がエージェントの反ファクトモデル行動を予測する能力を向上させるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 4.8434403033301185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many areas of AI research, such as language model interpretability and chain of thought faithfulness, seek to explain model behaviors. But what constitutes a "good" explanation? In this work, we evaluate explanations through the lens of counterfactual simulatability-whether the explanation is useful for predicting model behaviors on related counterfactual inputs. To this end, we introduce CHIVE (Counterfactual Hypothesis Investigation Via Edits), a novel agentic pipeline that identifies unexpected model behaviors in the wild and investigates them with counterfactual prompt edits. This yields thousands of high-quality explanations for naturally-occurring model behaviors along with supporting counterfactual evidence. We apply CHIVE in two ways. First, we evaluate whether common LLM interpretability techniques improve an agent's ability to predict counterfactual model behaviors. Surprisingly, we find no uplift from any of the interpretability techniques studied. Second, we use CHIVE to generate training data. We find that training models to predict outcomes of CHIVE-generated counterfactual experiments generalizes to various out-of-distribution settings. Overall, CHIVE automatically discovers explanations of naturally-occurring LLM behaviors, enabling us to evaluate and improve methods for explaining LLM behaviors.
• Abstract（参考訳）: 言語モデル解釈可能性や思考忠実性の連鎖など、AI研究の多くの領域は、モデル行動の説明を求めている。 しかし、何が「良い」説明になるのか? 本研究は, 反ファクト的シミュラビリティのレンズによる説明の評価であり, その説明が関連する反ファクト的入力のモデル挙動を予測するのに有用かどうかを考察する。 この目的のために,野生における予期せぬモデル行動を特定する新しいエージェントパイプラインであるCHIVE(Counterfactual hypothesis Investigation Via Edits)を導入し,それを対実的なプロンプト編集で検証する。 これにより、自然に発生するモデル行動について数千の高品質な説明が得られ、反実的な証拠が裏付けられる。 私たちはCHIVEを2つの方法で適用します。 まず、一般的なLCM解釈可能性技術が、エージェントの反現実的モデル行動を予測する能力を向上させるかどうかを評価する。 驚いたことに、研究対象の解釈可能性技術からの上昇は見つからない。 次に、CHIVEを使ってトレーニングデータを生成します。 実験結果を予測するトレーニングモデルは,様々なアウト・オブ・ディストリビューション・セッティングに一般化されている。 全体として、CHIVEは自然に発生するLCMの動作の説明を自動的に発見し、LCMの動作を説明する方法の評価と改善を可能にします。

関連論文リスト

• Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision [49.12474373883331]
  固定された反事実的説明に基づいて訓練されたLMが、訓練対象よりも現在の行動に忠実な説明をもたらすことを示す。 この「内省的」結合は、トレーニングの過程における現在の行動と十分な相関が保たれているときに起こる。 また, イントロスペクティブ・カップリング・トラックは, 他のトレーニング後の目標と並行して説明訓練を行う場合, 最新の監視を必要とせず, それらの変化をトラックする。
  論文  参考訳（メタデータ） (2026-06-30T17:59:32Z)
• Not All Explanations Simulate Equally: Comparing Verbalized Feature Attributions and Self-Generated Rationales [1.8772057593980798]
  本稿では,質問応答モデルに対する2種類の説明を,言語化された特徴属性と自己生成的有理性と比較する。 説明源,動詞化戦略,特徴粒度が説明のシミュラビリティにどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2026-05-31T10:35:35Z)
• Do LLM Self-Explanations Help Users Predict Model Behavior? Evaluating Counterfactual Simulatability with Pragmatic Perturbations [1.8772057593980798]
  大規模言語モデル(LLM)は、言語化された自己説明を生成することができる。 我々は,人間とLLMの審査員が,偽のフォローアップ質問に対するモデルの回答をどの程度予測できるかを評価する。
  論文  参考訳（メタデータ） (2026-01-07T10:13:26Z)
• Internal Causal Mechanisms Robustly Predict Language Model Out-of-Distribution Behaviors [61.92704516732144]
  正当性予測の最も堅牢な特徴は、モデルの振舞いに特徴的な因果的役割を果たすものであることを示す。 モデル出力の正しさを予測するために因果メカニズムを利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T00:31:39Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Faithfulness Tests for Natural Language Explanations [87.01093277918599]
  ニューラルモデルの説明は、その予測のためのモデルの意思決定プロセスを明らかにすることを目的としている。 近年の研究では,サリエンシマップやファクトファクトファクトダクトなどの説明を行う手法が誤解を招く可能性があることが示されている。 本研究は,自然言語の説明の忠実さを評価する上での課題について考察する。
  論文  参考訳（メタデータ） (2023-05-29T11:40:37Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)
• Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior? [97.77183117452235]
  我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。 方法の有効性の明確な証拠はごく少数にみえる。 以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
  論文  参考訳（メタデータ） (2020-05-04T20:35:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。