論文の概要: Towards Unifying Interpretability and Control: Evaluation via Intervention

• arxiv url: http://arxiv.org/abs/2411.04430v2
• Date: Mon, 10 Feb 2025 19:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:03:43.184354
• Title: Towards Unifying Interpretability and Control: Evaluation via Intervention
• Title（参考訳）: 解釈可能性と制御の統一に向けて--介入による評価
• Authors: Usha Bhalla, Suraj Srinivas, Asma Ghandeharioun, Himabindu Lakkaraju,
• Abstract要約: 我々は、介入が解釈可能性の基本的な目標であり、介入によるモデル行動の制御方法の評価に成功基準を導入することを論じる。 我々は4つの一般的な解釈可能性手法、スパースオートエンコーダ、ロジットレンズ、チューニングレンズ、および探索を抽象エンコーダデコーダフレームワークに拡張する。 モデルの動作を制御するための説明の正確性とその有用性を測定するために,介入成功率とコヒーレンス・インターベンショントレードオフという2つの新しい評価指標を導入する。
• 参考スコア（独自算出の注目度）: 25.4582941170387
• License:
• Abstract: With the growing complexity and capability of large language models, a need to understand model reasoning has emerged, often motivated by an underlying goal of controlling and aligning models. While numerous interpretability and steering methods have been proposed as solutions, they are typically designed either for understanding or for control, seldom addressing both. Additionally, the lack of standardized applications, motivations, and evaluation metrics makes it difficult to assess methods' practical utility and efficacy. To address the aforementioned issues, we argue that intervention is a fundamental goal of interpretability and introduce success criteria to evaluate how well methods can control model behavior through interventions. To evaluate existing methods for this ability, we unify and extend four popular interpretability methods-sparse autoencoders, logit lens, tuned lens, and probing-into an abstract encoder-decoder framework, enabling interventions on interpretable features that can be mapped back to latent representations to control model outputs. We introduce two new evaluation metrics: intervention success rate and coherence-intervention tradeoff, designed to measure the accuracy of explanations and their utility in controlling model behavior. Our findings reveal that (1) while current methods allow for intervention, their effectiveness is inconsistent across features and models, (2) lens-based methods outperform SAEs and probes in achieving simple, concrete interventions, and (3) mechanistic interventions often compromise model coherence, underperforming simpler alternatives, such as prompting, and highlighting a critical shortcoming of current interpretability approaches in applications requiring control.
• Abstract（参考訳）: 大きな言語モデルの複雑さと能力の増大により、モデル推論を理解する必要性が生まれ、しばしばモデルの制御と整合という基本的な目標によって動機付けられている。 解法として多くの解釈可能性と操舵法が提案されているが、典型的には理解または制御のために設計されており、どちらもほとんど解決されない。 さらに、標準化されたアプリケーション、モチベーション、評価指標の欠如は、メソッドの実用性と有効性を評価するのを困難にしている。 上記の課題に対処するため、介入は解釈可能性の基本的な目標であり、手法が介入を通してモデル行動の制御をいかにうまく制御できるかを評価するための成功基準を導入することを論じる。 既存の手法を評価するため,提案手法は4つの一般的な自動エンコーダ,ロジットレンズ,チューニングレンズ,プローブを抽象エンコーダ・デコーダフレームワークに統一し,モデル出力を制御するために潜在表現にマッピング可能な解釈機能への介入を可能にする。 モデルの動作を制御するための説明の正確性とその有用性を測定するために,介入成功率とコヒーレンス・インターベンショントレードオフという2つの新しい評価指標を導入する。 その結果,(1) 従来の手法は介入を許すが, 機能やモデル間では相容れないこと,(2) レンズベースの手法はSAEやプローブより優れていること,(3) 機械的介入はモデルコヒーレンスを損なうこと, プロンプトなどのより単純な代替手段を過小評価すること, 制御を必要とするアプリケーションにおける現在の解釈可能性アプローチの重大な欠点を強調すること,などが判明した。

関連論文リスト

• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Composable Interventions for Language Models [60.32695044723103]
  言語モデルのテストタイム介入は、事実の正確性を高め、有害な出力を軽減し、コストのかかる再トレーニングなしにモデルの効率を向上させる。 しかし、新しい手法の洪水にもかかわらず、様々な種類の介入が独立して発展している。 複数の介入が同じ言語モデルに与える影響を研究するためのフレームワークである構成可能な介入を導入する。
  論文  参考訳（メタデータ） (2024-07-09T01:17:44Z)
• A Closer Look at the Intervention Procedure of Concept Bottleneck Models [18.222350428973343]
  概念ボトルネックモデル(コンセプションボトルネックモデル、CBM)は、その高レベルな概念に基づいて与えられた入力のターゲット応答を予測する、解釈可能なニューラルネットワークモデルのクラスである。 CBMは、ドメインの専門家が予測された概念に介入し、テスト時に間違いを修正できるので、最後にもっと正確なタスク予測ができる。 本研究では,介入効果を向上させるために介入概念を選択する様々な方法を開発し,異なる状況下でどのように進化するかを詳細に分析する。
  論文  参考訳（メタデータ） (2023-02-28T02:37:24Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Multicriteria interpretability driven Deep Learning [0.0]
  ディープラーニングの手法はパフォーマンスで有名だが、その解釈可能性の欠如は、高い文脈での学習を妨げている。 近年のモデル手法では、モデルの内部動作をリバースエンジニアリングすることで、ポストホック解釈可能性法を提供することでこの問題に対処している。 本稿では,目的関数に知識を注入することで,モデルの結果に特徴的影響を制御できるマルチクレータ非依存手法を提案する。
  論文  参考訳（メタデータ） (2021-11-28T09:41:13Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Calibrating Healthcare AI: Towards Reliable and Interpretable Deep Predictive Models [41.58945927669956]
  これらの2つの目的は必ずしも相違するものではなく、予測キャリブレーションを利用して両方の目的を満たすことを提案する。 本手法はキャリブレーション駆動型学習法により構成され, 対実的推論に基づく解釈可能性手法の設計にも用いられている。
  論文  参考訳（メタデータ） (2020-04-27T22:15:17Z)
• Estimating the Effects of Continuous-valued Interventions using Generative Adversarial Networks [103.14809802212535]
  我々は,連続的評価介入の効果を推定する問題に対処するため,GAN(Generative Adversarial Network)フレームワークを構築した。 我々のモデルであるSCIGANは柔軟であり、いくつかの異なる継続的な介入に対する対実的な結果の同時推定が可能である。 継続的な介入に移行することによって生じる課題に対処するために、差別者のための新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-27T18:46:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。