論文の概要: Prospector Heads: Generalized Feature Attribution for Large Models &
Data
- arxiv url: http://arxiv.org/abs/2402.11729v1
- Date: Sun, 18 Feb 2024 23:01:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 19:20:04.702884
- Title: Prospector Heads: Generalized Feature Attribution for Large Models &
Data
- Title(参考訳): プロスペクタヘッド:大規模モデルとデータに対する一般的な特徴属性
- Authors: Gautam Machiraju, Alexander Derry, Arjun Desai, Neel Guha,
Amir-Hossein Karimi, James Zou, Russ Altman, Christopher R\'e, Parag Mallick
- Abstract要約: 本稿では,特徴帰属のための説明に基づく手法の,効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。
入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
- 参考スコア(独自算出の注目度): 63.33062996732212
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feature attribution, the ability to localize regions of the input data that
are relevant for classification, is an important capability for machine
learning models in scientific and biomedical domains. Current methods for
feature attribution, which rely on "explaining" the predictions of end-to-end
classifiers, suffer from imprecise feature localization and are inadequate for
use with small sample sizes and high-dimensional datasets due to computational
challenges. We introduce prospector heads, an efficient and interpretable
alternative to explanation-based methods for feature attribution that can be
applied to any encoder and any data modality. Prospector heads generalize
across modalities through experiments on sequences (text), images (pathology),
and graphs (protein structures), outperforming baseline attribution methods by
up to 49 points in mean localization AUPRC. We also demonstrate how prospector
heads enable improved interpretation and discovery of class-specific patterns
in the input data. Through their high performance, flexibility, and
generalizability, prospectors provide a framework for improving trust and
transparency for machine learning models in complex domains.
- Abstract(参考訳): 特徴帰属(feature attribution)は、分類に関連する入力データの領域をローカライズする能力であり、科学的および生物医学領域の機械学習モデルにとって重要な機能である。
エンド・ツー・エンドの分類器の予測を「説明」する現在の特徴帰属法は、不正確な特徴の局在化に苦しめられ、計算上の課題のために小さなサンプルサイズと高次元データセットでの使用には不十分である。
我々は,任意のエンコーダおよび任意のデータモダリティに適用可能な特徴帰属のための説明ベース手法の効率的かつ解釈可能な代替手段であるprospector headを提案する。
プロスペクタヘッドは、シーケンス(テキスト)、画像(病理)、およびグラフ(タンパク質構造)の実験を通じてモダリティを一般化し、平均局在auprcにおけるベースラインアトリビューション法を最大49ポイント上回った。
また、入力データ中のクラス固有のパターンの解釈と発見を改善する方法を示す。
ハイパフォーマンス、柔軟性、一般化性を通じて、複雑なドメインにおける機械学習モデルの信頼性と透明性を改善するためのフレームワークを提供する。
関連論文リスト
- Harmonizing Feature Attributions Across Deep Learning Architectures:
Enhancing Interpretability and Consistency [2.2237337682863125]
本研究では,様々なディープラーニングアーキテクチャにおける特徴属性の一般化について検討する。
私たちは、より一貫性があり楽観的な特徴属性の理解を深めることを目指しています。
本研究は,解釈可能性の向上と機械学習アプリケーションの信頼性向上を目的とした,調和した特徴帰属手法の可能性を明らかにするものである。
論文 参考訳(メタデータ) (2023-07-05T09:46:41Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-05-30T13:34:46Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳(メタデータ) (2021-01-18T08:37:13Z) - A Framework to Learn with Interpretation [2.3741312212138896]
本稿では,予測モデルとその関連解釈モデルを共同で学習する新しい枠組みを提案する。
我々は,選択した隠れ層の出力を入力として取り込む,高レベル属性関数の小型辞書を求める。
学習した機能を視覚化する詳細なパイプラインも開発されている。
論文 参考訳(メタデータ) (2020-10-19T09:26:28Z) - Learning Cross-domain Generalizable Features by Representation
Disentanglement [11.74643883335152]
ディープラーニングモデルは、異なるドメイン間で限定的な一般化性を示す。
本稿では,MIDNet(Multual-Information-based Disentangled Neural Networks)を提案する。
本手法は手書き桁データセットと胎児超音波データセットを用いて画像分類を行う。
論文 参考訳(メタデータ) (2020-02-29T17:53:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。