論文の概要: AttributionLab: Faithfulness of Feature Attribution Under Controllable
Environments
- arxiv url: http://arxiv.org/abs/2310.06514v2
- Date: Wed, 14 Feb 2024 05:10:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 19:19:23.190810
- Title: AttributionLab: Faithfulness of Feature Attribution Under Controllable
Environments
- Title(参考訳): AttributionLab: 制御可能な環境における特徴属性の忠実性
- Authors: Yang Zhang, Yawei Li, Hannah Brown, Mina Rezaei, Bernd Bischl, Philip
Torr, Ashkan Khakzar, Kenji Kawaguchi
- Abstract要約: 特徴属性(Feature Attribution)は、関連する入力機能を特定することによって、ニューラルネットワークの出力を説明する。
信頼度テストの最近の傾向は、設計データに既知の関連する特徴を持つモデルに適合し、属性と真実の入力特徴を比較することである。
本稿では,ネットワークを設計し,手動で重みを設定することでこの問題を解決し,データの設計を行う。
AttributionLabというセットアップは、誠実さの正当性チェックとして機能する。
- 参考スコア(独自算出の注目度): 44.70953061141965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature attribution explains neural network outputs by identifying relevant
input features. The attribution has to be faithful, meaning that the attributed
features must mirror the input features that influence the output. One recent
trend to test faithfulness is to fit a model on designed data with known
relevant features and then compare attributions with ground truth input
features.This idea assumes that the model learns to use all and only these
designed features, for which there is no guarantee. In this paper, we solve
this issue by designing the network and manually setting its weights, along
with designing data. The setup, AttributionLab, serves as a sanity check for
faithfulness: If an attribution method is not faithful in a controlled
environment, it can be unreliable in the wild. The environment is also a
laboratory for controlled experiments by which we can analyze attribution
methods and suggest improvements.
- Abstract(参考訳): feature attributionは、関連する入力特徴を識別することでニューラルネットワークの出力を説明する。
帰属は忠実でなければならず、帰属された特徴は出力に影響を与える入力特徴を反映する必要がある。
忠実性をテストする最近のトレンドの1つは、設計されたデータと既知の関連する特徴のモデルに適合し、帰属と根拠真理の入力特徴を比較することである。
本稿では,ネットワークを設計し,手動で重みを設定することでこの問題を解決し,データの設計を行う。
設定であるattributionlabは、忠実性の健全性チェックとして機能する:もし、attributionメソッドが制御された環境では忠実でない場合、野生では信頼できない。
この環境は、帰属法を解析し、改善を提案する制御実験のための実験室でもある。
関連論文リスト
- VeriFlow: Modeling Distributions for Neural Network Verification [4.3012765978447565]
フォーマル検証は、ニューラルネットワークの安全性と信頼性を保証するための有望な方法として登場した。
本稿では,流れに基づく密度モデルとしてVeriFlowアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-06-20T12:41:39Z) - Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。
本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
論文 参考訳(メタデータ) (2024-02-08T22:05:45Z) - From the Lab to the Wild: Affect Modeling via Privileged Information [2.570570340104555]
制御された実験室環境で訓練されたモデル(生体内)を、制御されていない現実世界の設定(生体内)に確実に移行するにはどうすればよいか?
厳密な情報は、実験室で利用可能な複数のモダリティでモデルをトレーニングし、大きなパフォーマンス低下なしには、野生で運用できないモダリティを無視します。
論文 参考訳(メタデータ) (2023-05-18T12:31:33Z) - Meta Input: How to Leverage Off-the-Shelf Deep Neural Networks [29.975937981538664]
我々は、エンドユーザーがモデルを変更することなく、独自のテスト環境で事前訓練されたDNNモデルを活用できる新しいアプローチを導入する。
テストデータの分布をトレーニングデータと整合させる追加入力であるtextitmeta 入力を提案する。
その結果、エンドユーザは、トレーニング環境と異なるテスト環境で、よく訓練されたモデルを利用することができる。
論文 参考訳(メタデータ) (2022-10-21T02:11:38Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳(メタデータ) (2022-02-08T16:09:12Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。
変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
論文 参考訳(メタデータ) (2022-01-28T22:03:50Z) - Fine-Grained Neural Network Explanation by Identifying Input Features
with Predictive Information [53.28701922632817]
入力領域における予測情報を用いて特徴を識別する手法を提案する。
我々の手法の中核となる考え方は、予測潜在機能に関連する入力機能のみを通過させる入力のボトルネックを活用することである。
論文 参考訳(メタデータ) (2021-10-04T14:13:42Z) - Do Feature Attribution Methods Correctly Attribute Features? [5.58592454173439]
特徴帰属法は、解釈可能な機械学習で非常に人気がある。
属性」の定義に関する合意はありません。
塩分マップ,合理性,注意の3つの方法を評価した。
論文 参考訳(メタデータ) (2021-04-27T20:35:30Z) - Robust Fairness under Covariate Shift [11.151913007808927]
保護グループメンバーシップに関して公正な予測を行うことは、分類アルゴリズムの重要な要件となっている。
本稿では,ターゲット性能の面で最悪のケースに対して頑健な予測値を求める手法を提案する。
論文 参考訳(メタデータ) (2020-10-11T04:42:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。