論文の概要: Enhancing Model Interpretability with Local Attribution over Global Exploration
- arxiv url: http://arxiv.org/abs/2408.07736v1
- Date: Wed, 14 Aug 2024 17:53:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-16 15:59:30.692771
- Title: Enhancing Model Interpretability with Local Attribution over Global Exploration
- Title(参考訳): 地球探査による局所属性によるモデル解釈可能性の向上
- Authors: Zhiyu Zhu, Zhibo Jin, Jiayu Zhang, Huaming Chen,
- Abstract要約: 現在の帰属アルゴリズムはサンプル空間を探索することで各パラメータの重要性を評価する。
探索プロセス中に多数の中間状態が導入され、それはモデルのout-of-Distribution(OOD)空間に到達する可能性がある。
これらの特性を利用する局所属性(LA)アルゴリズムを提案する。
提案手法は,最先端の属性手法と比較して平均38.21%の属性効率向上を実現している。
- 参考スコア(独自算出の注目度): 6.3144983055172235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of artificial intelligence, AI models are frequently described as `black boxes' due to the obscurity of their internal mechanisms. It has ignited research interest on model interpretability, especially in attribution methods that offers precise explanations of model decisions. Current attribution algorithms typically evaluate the importance of each parameter by exploring the sample space. A large number of intermediate states are introduced during the exploration process, which may reach the model's Out-of-Distribution (OOD) space. Such intermediate states will impact the attribution results, making it challenging to grasp the relative importance of features. In this paper, we firstly define the local space and its relevant properties, and we propose the Local Attribution (LA) algorithm that leverages these properties. The LA algorithm comprises both targeted and untargeted exploration phases, which are designed to effectively generate intermediate states for attribution that thoroughly encompass the local space. Compared to the state-of-the-art attribution methods, our approach achieves an average improvement of 38.21\% in attribution effectiveness. Extensive ablation studies in our experiments also validate the significance of each component in our algorithm. Our code is available at: https://github.com/LMBTough/LA/
- Abstract(参考訳): 人工知能の分野では、AIモデルは内部メカニズムが不明瞭であるため、しばしば「ブラックボックス」と表現される。
モデル解釈可能性の研究、特にモデル決定の正確な説明を提供する帰属法に着目している。
現在の帰属アルゴリズムは典型的にはサンプル空間を探索することで各パラメータの重要性を評価する。
探索プロセス中に多数の中間状態が導入され、それはモデルのout-of-Distribution(OOD)空間に到達する可能性がある。
このような中間状態は属性の結果に影響を与えるため、特徴の相対的な重要性を理解することは困難である。
本稿では、まず、局所空間とその関連特性を定義し、これらの特性を利用する局所属性(LA)アルゴリズムを提案する。
LAアルゴリズムは、局所空間を完全に包含する帰属状態の中間状態を効果的に生成するために設計された、目標と未目標の探査段階の両方を含む。
提案手法は,最先端の属性手法と比較して平均38.21 %の属性効率向上を実現している。
実験における広範囲なアブレーション研究は,アルゴリズムにおける各成分の重要性も検証した。
私たちのコードは、https://github.com/LMBTough/LA/で利用可能です。
関連論文リスト
- GLEAMS: Bridging the Gap Between Local and Global Explanations [6.329021279685856]
本稿では,入力空間を分割し,各サブリージョン内で解釈可能なモデルを学習する新しい手法であるGLEAMSを提案する。
我々は、GLEAMSが合成データと実世界のデータの両方で有効であることを示し、その望ましい特性と人間の理解可能な洞察を強調した。
論文 参考訳(メタデータ) (2024-08-09T13:30:37Z) - Prospector Heads: Generalized Feature Attribution for Large Models & Data [82.02696069543454]
本稿では,説明に基づく帰属手法の効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。
入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
論文 参考訳(メタデータ) (2024-02-18T23:01:28Z) - Less is More: Fewer Interpretable Region via Submodular Subset Selection [54.07758302264416]
本稿では,上述の画像帰属問題を部分モジュラ部分選択問題として再モデル化する。
我々は、より正確な小さな解釈領域を発見するために、新しい部分モジュラー関数を構築する。
正しく予測されたサンプルに対しては,HSIC-Attributionに対する平均4.9%と2.5%の利得で,Deletion and Insertionスコアを改善した。
論文 参考訳(メタデータ) (2024-02-14T13:30:02Z) - CPR++: Object Localization via Single Coarse Point Supervision [55.8671776333499]
粗い点修正(CPR)は、アルゴリズムの観点からの意味的分散を緩和する最初の試みである。
CPRは、アノテートされた最初のポイントを置き換えるために、近隣地域のセマンティックセンターポイントを選択することで意味のばらつきを減らす。
CPR++は、スケール情報を取得し、グローバル領域における意味的分散をさらに低減することができる。
論文 参考訳(メタデータ) (2024-01-30T17:38:48Z) - Coalescing Global and Local Information for Procedural Text
Understanding [70.10291759879887]
完全な手続き的理解ソリューションは、入力のローカル・グローバル・ビューとアウトプットのグローバル・ビューの3つの中核的な側面を組み合わせるべきである。
本稿では,エンティティと時間表現を構築する新しいモデルであるCoalescing Global and Local InformationCGを提案する。
一般的な手続き的テキスト理解データセットの実験は、我々のモデルが最先端の結果を得ることを示す。
論文 参考訳(メタデータ) (2022-08-26T19:16:32Z) - Provably Sample-Efficient RL with Side Information about Latent Dynamics [12.461789905893026]
本研究では,RLエージェントが状態空間の構造に関する抽象的な知識にアクセスできるような環境下での強化学習について検討する。
我々は,対象領域におけるロバストなポリシーを,地平線上にあるサンプルの複雑さで学習するTASIDというアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-27T21:07:03Z) - Time to Focus: A Comprehensive Benchmark Using Time Series Attribution
Methods [4.9449660544238085]
本論文は時系列解析といくつかの最先端属性手法のベンチマークに焦点をあてる。
本実験では, 勾配および摂動に基づく帰属法について検討した。
その結果,最も適した帰属法を選択することは,所望のユースケースと強く相関していることが示唆された。
論文 参考訳(メタデータ) (2022-02-08T10:06:13Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳(メタデータ) (2021-08-03T17:09:56Z) - Localized active learning of Gaussian process state space models [63.97366815968177]
多くの共通制御アプリケーションにおいて、優れた性能を達成するためには、グローバルに正確なモデルを必要としない。
本稿では,状態-作用空間の有界部分集合上の正確なモデルを得ることを目的としたガウス過程状態空間モデルに対する能動的学習戦略を提案する。
モデル予測制御を用いることで、探索中に収集した情報を統合し、探索戦略を適応的に改善する。
論文 参考訳(メタデータ) (2020-05-04T05:35:02Z) - Scalable Approximate Inference and Some Applications [2.6541211006790983]
本稿では,近似推論のための新しいフレームワークを提案する。
提案する4つのアルゴリズムは,Steinの手法の最近の計算進歩に動機付けられている。
シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。
論文 参考訳(メタデータ) (2020-03-07T04:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。