論文の概要: Towards Unifying Interpretability and Control: Evaluation via Intervention

• arxiv url: http://arxiv.org/abs/2411.04430v1
• Date: Thu, 07 Nov 2024 04:52:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:38:02.696866
• Title: Towards Unifying Interpretability and Control: Evaluation via Intervention
• Title（参考訳）: 解釈可能性と制御の統一に向けて--介入による評価
• Authors: Usha Bhalla, Suraj Srinivas, Asma Ghandeharioun, Himabindu Lakkaraju,
• Abstract要約: 本稿では,解釈可能性の基本的な目標として介入を提案し,手法が介入を通してモデル動作をいかにうまく制御できるかを評価するために成功基準を導入する。 我々は4つの一般的な解釈可能性手法(オートエンコーダ、ロジットレンズ、チューニングレンズ、探索)を抽象エンコーダデコーダフレームワークに拡張する。 本稿では,介入成功率とコヒーレンス・インターベンショントレードオフの2つの新しい評価指標を紹介する。
• 参考スコア（独自算出の注目度）: 25.4582941170387
• License:
• Abstract: With the growing complexity and capability of large language models, a need to understand model reasoning has emerged, often motivated by an underlying goal of controlling and aligning models. While numerous interpretability and steering methods have been proposed as solutions, they are typically designed either for understanding or for control, seldom addressing both, with the connection between interpretation and control more broadly remaining tenuous. Additionally, the lack of standardized applications, motivations, and evaluation metrics makes it difficult to assess these methods' practical utility and efficacy. To address this, we propose intervention as a fundamental goal of interpretability and introduce success criteria to evaluate how well methods are able to control model behavior through interventions. We unify and extend four popular interpretability methods--sparse autoencoders, logit lens, tuned lens, and probing--into an abstract encoder-decoder framework. This framework maps intermediate latent representations to human-interpretable feature spaces, enabling interventions on these interpretable features, which can then be mapped back to latent representations to control model outputs. We introduce two new evaluation metrics: intervention success rate and the coherence-intervention tradeoff, designed to measure the accuracy of explanations and their utility in controlling model behavior. Our findings reveal that (1) although current methods allow for intervention, they are inconsistent across models and features, (2) lens-based methods outperform others in achieving simple, concrete interventions, and (3) interventions often compromise model performance and coherence, underperforming simpler alternatives, such as prompting, for steering model behavior and highlighting a critical shortcoming of current interpretability approaches in real-world applications requiring control.
• Abstract（参考訳）: 大きな言語モデルの複雑さと能力の増大により、モデル推論を理解する必要性が生まれ、しばしばモデルの制御と整合という基本的な目標によって動機付けられている。 多くの解釈可能性と操舵法が解法として提案されているが、典型的には理解または制御のために設計され、解釈と制御の間の接続はより広範囲に持続する。 さらに、標準化されたアプリケーション、モチベーション、評価指標の欠如は、これらの手法の実用性と有効性を評価するのを困難にしている。 そこで我々は,解釈可能性の基本的な目標として介入を提案するとともに,介入によるモデル行動の制御がいかにうまく行われているかを評価するために,成功基準を導入する。 我々は,4つの一般的な解釈可能性手法(オートエンコーダ,ロジットレンズ,チューニングレンズ,プローブ)を,抽象エンコーダ・デコーダフレームワークに統合し拡張する。 このフレームワークは、中間潜在表現を人間の解釈可能な特徴空間にマッピングし、これらの解釈可能な特徴への介入を可能にする。 本稿では,介入成功率とコヒーレンス・インターベンショントレードオフの2つの新しい評価指標を紹介する。 その結果,(1)現行の手法は介入を許すが,モデルや特徴に不整合であり,(2)レンズベースの手法は,単純で具体的な介入を行う上で他者よりも優れ,(3)介入は,モデルの性能と一貫性を損なうことが多く,モデル動作の促進や,制御を必要とする現実のアプリケーションにおける現在の解釈可能性アプローチの重大な欠点を浮き彫りにするなど,より単純な代替手段が不足していることが判明した。

関連論文リスト

• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Composable Interventions for Language Models [60.32695044723103]
  言語モデルのテストタイム介入は、事実の正確性を高め、有害な出力を軽減し、コストのかかる再トレーニングなしにモデルの効率を向上させる。 しかし、新しい手法の洪水にもかかわらず、様々な種類の介入が独立して発展している。 複数の介入が同じ言語モデルに与える影響を研究するためのフレームワークである構成可能な介入を導入する。
  論文  参考訳（メタデータ） (2024-07-09T01:17:44Z)
• A Closer Look at the Intervention Procedure of Concept Bottleneck Models [18.222350428973343]
  概念ボトルネックモデル(コンセプションボトルネックモデル、CBM)は、その高レベルな概念に基づいて与えられた入力のターゲット応答を予測する、解釈可能なニューラルネットワークモデルのクラスである。 CBMは、ドメインの専門家が予測された概念に介入し、テスト時に間違いを修正できるので、最後にもっと正確なタスク予測ができる。 本研究では,介入効果を向上させるために介入概念を選択する様々な方法を開発し,異なる状況下でどのように進化するかを詳細に分析する。
  論文  参考訳（メタデータ） (2023-02-28T02:37:24Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Multicriteria interpretability driven Deep Learning [0.0]
  ディープラーニングの手法はパフォーマンスで有名だが、その解釈可能性の欠如は、高い文脈での学習を妨げている。 近年のモデル手法では、モデルの内部動作をリバースエンジニアリングすることで、ポストホック解釈可能性法を提供することでこの問題に対処している。 本稿では,目的関数に知識を注入することで,モデルの結果に特徴的影響を制御できるマルチクレータ非依存手法を提案する。
  論文  参考訳（メタデータ） (2021-11-28T09:41:13Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Calibrating Healthcare AI: Towards Reliable and Interpretable Deep Predictive Models [41.58945927669956]
  これらの2つの目的は必ずしも相違するものではなく、予測キャリブレーションを利用して両方の目的を満たすことを提案する。 本手法はキャリブレーション駆動型学習法により構成され, 対実的推論に基づく解釈可能性手法の設計にも用いられている。
  論文  参考訳（メタデータ） (2020-04-27T22:15:17Z)
• Estimating the Effects of Continuous-valued Interventions using Generative Adversarial Networks [103.14809802212535]
  我々は,連続的評価介入の効果を推定する問題に対処するため,GAN(Generative Adversarial Network)フレームワークを構築した。 我々のモデルであるSCIGANは柔軟であり、いくつかの異なる継続的な介入に対する対実的な結果の同時推定が可能である。 継続的な介入に移行することによって生じる課題に対処するために、差別者のための新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-27T18:46:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。