論文の概要: Pando: Do Interpretability Methods Work When Models Won't Explain Themselves?

• arxiv url: http://arxiv.org/abs/2604.11061v1
• Date: Mon, 13 Apr 2026 06:42:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.366381
• Title: Pando: Do Interpretability Methods Work When Models Won't Explain Themselves?
• Title（参考訳）: Pando: モデルがテーマを説明できない場合、解釈可能性メソッドは機能するか?
• Abstract要約: モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
• 参考スコア（独自算出の注目度）: 53.07826484214082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability is often motivated for alignment auditing, where a model's verbal explanations can be absent, incomplete, or misleading. Yet many evaluations do not control whether black-box prompting alone can recover the target behavior, so apparent gains from white-box tools may reflect elicitation rather than internal signal; we call this the elicitation confounder. We introduce Pando, a model-organism benchmark that breaks this confound via an explanation axis: models are trained to produce either faithful explanations of the true rule, no explanation, or confident but unfaithful explanations of a disjoint distractor rule. Across 720 finetuned models implementing hidden decision-tree rules, agents predict held-out model decisions from $10$ labeled query-response pairs, optionally augmented with one interpretability tool output. When explanations are faithful, black-box elicitation matches or exceeds all white-box methods; when explanations are absent or misleading, gradient-based attribution improves accuracy by 3-5 percentage points, and relevance patching, RelP, gives the largest gains, while logit lens, sparse autoencoders, and circuit tracing provide no reliable benefit. Variance decomposition suggests gradients track decision computation, which fields causally drive the output, whereas other readouts are dominated by task representation, biases toward field identity and value. We release all models, code, and evaluation infrastructure.
• Abstract（参考訳）: 機械的解釈可能性はしばしばアライメント監査の動機となり、モデルの言葉による説明が欠落したり、不完全であったり、誤解を招くことがある。 しかし、ブラックボックスのプロンプトだけでターゲットの動作を回復できるかどうかを制御できない評価が多いため、ホワイトボックスツールによる明らかな利得は、内部信号よりも利得を反映している可能性がある。 モデルは、真のルールの忠実な説明、説明なし、あるいは不連続なインタラプタルールの自信的かつ不誠実な説明を生成するように訓練されています。 隠された決定ツリールールを実装する720以上の微調整されたモデルにおいて、エージェントは10ドルのラベル付きクエリ応答ペアからホールドアウトモデル決定を予測し、1つの解釈可能性ツール出力で任意に拡張する。 説明が忠実である場合、ブラックボックスの推論はすべてのホワイトボックスの手法に一致するか、あるいは上回る。説明が欠落したり、誤解を招く場合、勾配に基づく帰属は精度を3～5ポイント改善し、関連パッチのRelPは最大の利得を与え、対数レンズ、スパースオートエンコーダ、サーキットトレースは信頼性のない利益をもたらす。 変数分解は、フィールドが出力を因果的に駆動する勾配をトラックする決定計算であり、他の読み出しはタスク表現、フィールドのアイデンティティと値へのバイアスによって支配される。 すべてのモデル、コード、評価インフラストラクチャをリリースします。

関連論文リスト

• Interpretability Without Tradeoffs: Disentangling Polysemanticity At Equal Predictive Performance [58.49623467782041]
  ELUDeはディープニューラルネットワークの解釈可能性を改善する方法である。 潜在表現を、解釈可能な機能のように振る舞う透明で検査可能なサブユニットに分解する。 明示的なトレーニングもラベルも必要とせず、事前訓練されたモデルにも適用できる。
  論文  参考訳（メタデータ） (2026-05-29T13:39:09Z)
• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• UNBOX: Unveiling Black-box visual models with Natural-language [50.433977345786055]
  完全データフリー、勾配フリー、バックプロパゲーションフリー制約下でのクラスワイドモデル解離のためのフレームワークUNBOXを紹介する。 我々は,画像Net-1K,Waterbirds,CelebAのUNBOXを,意味的忠実度テスト,視覚的特徴相関分析,スライス発見監査を通じて評価した。
  論文  参考訳（メタデータ） (2026-03-09T17:16:39Z)
• Reasoning Models Know When They're Right: Probing Hidden States for Self-Verification [23.190823296729732]
  本研究は,仮説モデルが解答正解性に関する情報を隠蔽状態の探索によって符号化するかどうかを考察する。 得られたプローブは、中間回答を高い精度で検証し、高度に校正されたスコアを生成する。
  論文  参考訳（メタデータ） (2025-04-07T18:42:01Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• DISCRET: Synthesizing Faithful Explanations For Treatment Effect Estimation [21.172795461188578]
  我々は,各サンプルに対して忠実で規則に基づく説明を合成する自己解釈型ITTフレームワークdisCRETを提案する。 DISCRETの背景にある重要な洞察は、説明が2つのデータベースクエリとして機能し、類似したサンプルのサブグループを識別できるということである。 大規模な探索空間からこれらの説明を効率的に合成する新しいRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-02T04:01:08Z)
• Plausible Extractive Rationalization through Semi-Supervised Entailment Signal [29.67884478799914]
  抽出された有理量の妥当性を最適化するために,半教師付きアプローチを採用する。 我々は、事前学習された自然言語推論(NLI)モデルを採用し、さらに教師付き論理の小さなセットに微調整する。 質問応答タスクにおける説明と回答のアライメント合意を強制することにより、真理ラベルにアクセスせずに性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-13T14:12:32Z)
• Discriminative Feature Attributions: Bridging Post Hoc Explainability and Inherent Interpretability [29.459228981179674]
  ポストホックの説明は、基礎となるタスクにとって重要でない、あるいは差別的でない機能に、誤って高い重要性がある。 一方、モデルアーキテクチャに説明を明示的にエンコードすることでこれらの問題を回避することができる。 本研究では,ディストラクタ消去に頑健なブラックボックスモデルを適応させる手法であるディストラクタ消去調整法(DiET)を提案する。
  論文  参考訳（メタデータ） (2023-07-27T17:06:02Z)
• Black-Box Anomaly Attribution [13.455748795087493]
  ブラックボックスの機械学習モデルが真の観察から逸脱したとき、その逸脱の背後にある理由について何を言えるだろうか? これは、ビジネスまたは産業用AIアプリケーションのエンドユーザがよく問う、基本的でユビキタスな質問である。 「新たな可能性に基づく帰属の枠組みを「可能性補償」と呼ぶ。」
  論文  参考訳（メタデータ） (2023-05-29T01:42:32Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。