論文の概要: DoLFIn: Distributions over Latent Features for Interpretability
- arxiv url: http://arxiv.org/abs/2011.05295v1
- Date: Tue, 10 Nov 2020 18:32:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 07:22:04.816137
- Title: DoLFIn: Distributions over Latent Features for Interpretability
- Title（参考訳）: DoLFIn: 解釈可能性のための潜在機能上の分散
- Authors: Phong Le and Willem Zuidema
- Abstract要約: ニューラルネットワークモデルにおける解釈可能性を実現するための新しい戦略を提案する。
我々のアプローチは、確率を中心量として使う成功に基づいている。
DoLFInは解釈可能なソリューションを提供するだけでなく、古典的なCNNやBiLSTMテキスト分類よりも若干優れています。
- 参考スコア（独自算出の注目度）: 8.807587076209568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interpreting the inner workings of neural models is a key step in ensuring
the robustness and trustworthiness of the models, but work on neural network
interpretability typically faces a trade-off: either the models are too
constrained to be very useful, or the solutions found by the models are too
complex to interpret. We propose a novel strategy for achieving
interpretability that -- in our experiments -- avoids this trade-off. Our
approach builds on the success of using probability as the central quantity,
such as for instance within the attention mechanism. In our architecture,
DoLFIn (Distributions over Latent Features for Interpretability), we do no
determine beforehand what each feature represents, and features go altogether
into an unordered set. Each feature has an associated probability ranging from
0 to 1, weighing its importance for further processing. We show that, unlike
attention and saliency map approaches, this set-up makes it straight-forward to
compute the probability with which an input component supports the decision the
neural model makes. To demonstrate the usefulness of the approach, we apply
DoLFIn to text classification, and show that DoLFIn not only provides
interpretable solutions, but even slightly outperforms the classical CNN and
BiLSTM text classifiers on the SST2 and AG-news datasets.
- Abstract（参考訳）: ニューラルモデルの内部動作を解釈することは、モデルの堅牢性と信頼性を確保する上で重要なステップだが、ニューラルネットワークの解釈可能性に関する作業は、一般的にトレードオフに直面している。
実験では、このトレードオフを避けるために、解釈可能性を達成するための新しい戦略を提案します。
私たちのアプローチは、例えば注意機構内で、確率を中央の量として使うという成功に基づいている。
私たちのアーキテクチャであるDoLFIn(Relatnt Features for Interpretability)では、各機能が何を表現しているかを事前に決めていません。
それぞれの特徴は0から1までの確率を持ち、さらなる処理の重要性を重み付けている。
注意と塩分マップのアプローチとは異なり、このセットアップは、入力コンポーネントが神経モデルが下す決定をサポートする確率を計算するためにストレートフォワードであることを示している。
提案手法の有用性を示すために,テキスト分類にDoLFInを適用し,解釈可能なソリューションを提供するだけでなく,SST2およびAG-newsデータセット上の古典的CNNおよびBiLSTMテキスト分類器よりも若干優れていることを示す。
関連論文リスト
- CF-GO-Net: A Universal Distribution Learner via Characteristic Function Networks with Graph Optimizers [8.816637789605174]
本稿では,分布に直接対応する確率的記述子である特徴関数(CF)を用いる手法を提案する。
確率密度関数 (pdf) とは異なり、特徴関数は常に存在するだけでなく、さらなる自由度を与える。
提案手法では,訓練済みのオートエンコーダなどの事前学習モデルを使用することで,特徴空間で直接学習することができる。
論文 参考訳（メタデータ） (2024-09-19T09:33:12Z) - InterpretCC: Intrinsic User-Centric Interpretability through Global Mixture of Experts [31.738009841932374]
ニューラルネットワークの解釈性は、3つの重要な要件間のトレードオフである。
本稿では,人間中心の解釈可能性を保証する,解釈可能なニューラルネットワークのファミリであるInterpretCCを提案する。
論文 参考訳（メタデータ） (2024-02-05T11:55:50Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Combining Discrete Choice Models and Neural Networks through Embeddings:
Formulation, Interpretability and Performance [10.57079240576682]
本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。
特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。
我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
論文 参考訳（メタデータ） (2021-09-24T15:55:31Z) - It's FLAN time! Summing feature-wise latent representations for
interpretability [0.0]
FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造拘束型ニューラルネットワークの新たなクラスを提案する。
FLANは各入力機能を別々に処理し、それぞれに共通の潜在空間の表現を演算する。
これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
論文 参考訳（メタデータ） (2021-06-18T12:19:33Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳（メタデータ） (2021-01-18T08:37:13Z) - A Framework to Learn with Interpretation [2.3741312212138896]
本稿では,予測モデルとその関連解釈モデルを共同で学習する新しい枠組みを提案する。
我々は,選択した隠れ層の出力を入力として取り込む,高レベル属性関数の小型辞書を求める。
学習した機能を視覚化する詳細なパイプラインも開発されている。
論文 参考訳（メタデータ） (2020-10-19T09:26:28Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳（メタデータ） (2020-10-18T16:55:25Z) - Interpreting Graph Neural Networks for NLP With Differentiable Edge
Masking [63.49779304362376]
グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。
本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。
モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
論文 参考訳（メタデータ） (2020-10-01T17:51:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。