論文の概要: A Functional Information Perspective on Model Interpretation
- arxiv url: http://arxiv.org/abs/2206.05700v2
- Date: Tue, 14 Jun 2022 08:01:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-15 12:56:20.549286
- Title: A Functional Information Perspective on Model Interpretation
- Title（参考訳）: モデル解釈における機能的情報視点
- Authors: Itai Gat, Nitay Calderon, Roi Reichart, Tamir Hazan
- Abstract要約: この研究は、モデル解釈可能性の理論的な枠組みを示唆している。
機能的フィッシャー情報によって機能的エントロピーを束縛する対数ソボレフの不等式に依存している。
提案手法は,様々なデータ信号に対する既存の解釈可能性サンプリング手法を超越していることを示す。
- 参考スコア（独自算出の注目度）: 30.101107406343665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contemporary predictive models are hard to interpret as their deep nets
exploit numerous complex relations between input elements. This work suggests a
theoretical framework for model interpretability by measuring the contribution
of relevant features to the functional entropy of the network with respect to
the input. We rely on the log-Sobolev inequality that bounds the functional
entropy by the functional Fisher information with respect to the covariance of
the data. This provides a principled way to measure the amount of information
contribution of a subset of features to the decision function. Through
extensive experiments, we show that our method surpasses existing
interpretability sampling-based methods on various data signals such as image,
text, and audio.
- Abstract（参考訳）: 入力要素間の多数の複雑な関係を利用するため、現代の予測モデルは解釈が難しい。
本研究は,入力に関するネットワークの機能的エントロピーに対する関連する特徴の寄与を測定することによって,モデル解釈可能性の理論的枠組みを提案する。
我々は、データの共分散に関して機能的フィッシャー情報によって機能的エントロピーを束縛する対数ソボレフの不等式に依存する。
これは、機能の一部が決定関数に寄与する情報量を測定するための原則的な方法を提供する。
本研究では,画像,テキスト,音声などの様々なデータ信号に対して,既存の可読性サンプリング手法を超越した手法を提案する。
関連論文リスト
- Directed Cyclic Graph for Causal Discovery from Multivariate Functional
Data [15.26007975367927]
因果構造学習のための機能線形構造方程式モデルを提案する。
解釈可能性を高めるために,本モデルは低次元因果埋め込み空間を含む。
提案モデルが標準仮定の下で因果的同定可能であることを示す。
論文 参考訳（メタデータ） (2023-10-31T15:19:24Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳（メタデータ） (2023-06-07T21:35:26Z) - A Mechanistic Interpretation of Arithmetic Reasoning in Language Models
using Causal Mediation Analysis [128.0532113800092]
算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。
これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
論文 参考訳（メタデータ） (2023-05-24T11:43:47Z) - Relational Local Explanations [11.679389861042]
我々は,入力変数間の関係解析に基づく,新しいモデルに依存しない,置換に基づく特徴帰属アルゴリズムを開発した。
機械学習のモデル決定とデータについて、より広範な洞察を得ることができます。
論文 参考訳（メタデータ） (2022-12-23T14:46:23Z) - Interpretability with full complexity by constraining feature
information [1.52292571922932]
解釈可能性(Interpretability)は、機械学習の課題だ。
我々は、新しい角度から解釈可能性にアプローチする:モデルの複雑さを制限することなく、特徴に関する情報を制約する。
近似モデルのスペクトルから洞察を抽出する枠組みを開発する。
論文 参考訳（メタデータ） (2022-11-30T18:59:01Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。
本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文 参考訳（メタデータ） (2021-09-28T00:53:34Z) - A geometric perspective on functional outlier detection [0.0]
これまでに提案したよりも広く適用可能で現実的な機能外乱検出の概念を考案する。
本研究では,関数型データセットの幾何学的構造を確実に推論し,可視化するために,単純な多様体学習法が利用できることを示す。
合成および実データ集合に関する実験により、本手法は、少なくとも既存の関数型データ固有手法と同程度に、外乱検出性能をもたらすことを示した。
論文 参考訳（メタデータ） (2021-09-14T17:42:57Z) - Removing Bias in Multi-modal Classifiers: Regularization by Maximizing
Functional Entropies [88.0813215220342]
いくつかのモダリティは、他のものよりも分類結果に容易に寄与することができる。
機能的エントロピーと機能的フィッシャー情報とを結合した対数ソボレフの不等式に基づく手法を開発した。
VQA-CPv2 と SocialIQ の2つの挑戦的マルチモーダルデータセットに対して,より均一にモダリティを活用しながら,最先端の結果を得る。
論文 参考訳（メタデータ） (2020-10-21T07:40:33Z) - Explaining Black Box Predictions and Unveiling Data Artifacts through
Influence Functions [55.660255727031725]
影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。
本稿では,代表課題における影響関数と共通単語順応法の比較を行う。
我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
論文 参考訳（メタデータ） (2020-05-14T00:45:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。