論文の概要: Pando: Do Interpretability Methods Work When Models Won't Explain Themselves?

• arxiv url: http://arxiv.org/abs/2604.11061v1
• Date: Mon, 13 Apr 2026 06:42:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.366381
• Title: Pando: Do Interpretability Methods Work When Models Won't Explain Themselves?
• Title（参考訳）: Pando: モデルがテーマを説明できない場合、解釈可能性メソッドは機能するか?
• Authors: Ziqian Zhong, Aashiq Muhamed, Mona T. Diab, Virginia Smith, Aditi Raghunathan,
• Abstract要約: モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
• 参考スコア（独自算出の注目度）: 53.07826484214082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability is often motivated for alignment auditing, where a model's verbal explanations can be absent, incomplete, or misleading. Yet many evaluations do not control whether black-box prompting alone can recover the target behavior, so apparent gains from white-box tools may reflect elicitation rather than internal signal; we call this the elicitation confounder. We introduce Pando, a model-organism benchmark that breaks this confound via an explanation axis: models are trained to produce either faithful explanations of the true rule, no explanation, or confident but unfaithful explanations of a disjoint distractor rule. Across 720 finetuned models implementing hidden decision-tree rules, agents predict held-out model decisions from $10$ labeled query-response pairs, optionally augmented with one interpretability tool output. When explanations are faithful, black-box elicitation matches or exceeds all white-box methods; when explanations are absent or misleading, gradient-based attribution improves accuracy by 3-5 percentage points, and relevance patching, RelP, gives the largest gains, while logit lens, sparse autoencoders, and circuit tracing provide no reliable benefit. Variance decomposition suggests gradients track decision computation, which fields causally drive the output, whereas other readouts are dominated by task representation, biases toward field identity and value. We release all models, code, and evaluation infrastructure.
• Abstract（参考訳）: 機械的解釈可能性はしばしばアライメント監査の動機となり、モデルの言葉による説明が欠落したり、不完全であったり、誤解を招くことがある。 しかし、ブラックボックスのプロンプトだけでターゲットの動作を回復できるかどうかを制御できない評価が多いため、ホワイトボックスツールによる明らかな利得は、内部信号よりも利得を反映している可能性がある。 モデルは、真のルールの忠実な説明、説明なし、あるいは不連続なインタラプタルールの自信的かつ不誠実な説明を生成するように訓練されています。 隠された決定ツリールールを実装する720以上の微調整されたモデルにおいて、エージェントは10ドルのラベル付きクエリ応答ペアからホールドアウトモデル決定を予測し、1つの解釈可能性ツール出力で任意に拡張する。 説明が忠実である場合、ブラックボックスの推論はすべてのホワイトボックスの手法に一致するか、あるいは上回る。説明が欠落したり、誤解を招く場合、勾配に基づく帰属は精度を3～5ポイント改善し、関連パッチのRelPは最大の利得を与え、対数レンズ、スパースオートエンコーダ、サーキットトレースは信頼性のない利益をもたらす。 変数分解は、フィールドが出力を因果的に駆動する勾配をトラックする決定計算であり、他の読み出しはタスク表現、フィールドのアイデンティティと値へのバイアスによって支配される。 すべてのモデル、コード、評価インフラストラクチャをリリースします。

関連論文リスト

• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• UNBOX: Unveiling Black-box visual models with Natural-language [50.433977345786055]
  完全データフリー、勾配フリー、バックプロパゲーションフリー制約下でのクラスワイドモデル解離のためのフレームワークUNBOXを紹介する。 我々は,画像Net-1K,Waterbirds,CelebAのUNBOXを,意味的忠実度テスト,視覚的特徴相関分析,スライス発見監査を通じて評価した。
  論文  参考訳（メタデータ） (2026-03-09T17:16:39Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• Plausible Extractive Rationalization through Semi-Supervised Entailment Signal [29.67884478799914]
  抽出された有理量の妥当性を最適化するために,半教師付きアプローチを採用する。 我々は、事前学習された自然言語推論(NLI)モデルを採用し、さらに教師付き論理の小さなセットに微調整する。 質問応答タスクにおける説明と回答のアライメント合意を強制することにより、真理ラベルにアクセスせずに性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-13T14:12:32Z)
• Discriminative Feature Attributions: Bridging Post Hoc Explainability and Inherent Interpretability [29.459228981179674]
  ポストホックの説明は、基礎となるタスクにとって重要でない、あるいは差別的でない機能に、誤って高い重要性がある。 一方、モデルアーキテクチャに説明を明示的にエンコードすることでこれらの問題を回避することができる。 本研究では,ディストラクタ消去に頑健なブラックボックスモデルを適応させる手法であるディストラクタ消去調整法(DiET)を提案する。
  論文  参考訳（メタデータ） (2023-07-27T17:06:02Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。