論文の概要: Attention vs non-attention for a Shapley-based explanation method
- arxiv url: http://arxiv.org/abs/2104.12424v1
- Date: Mon, 26 Apr 2021 09:33:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 23:24:44.972776
- Title: Attention vs non-attention for a Shapley-based explanation method
- Title（参考訳）: シャプリー型説明法における注意と非注意
- Authors: Tom Kersten, Hugh Mee Wong, Jaap Jumelet, Dieuwke Hupkes
- Abstract要約: コンテクチュアル分解(CD) -- 繰り返しNLPモデルでうまく機能することが示されているShapleyベースの入力機能アトリビューションメソッドを検討する。
英語とオランダ語のモデルも同様の処理挙動を示すが、その内部には注意と非注意モデルの間には一貫性のある違いがある。
- 参考スコア（独自算出の注目度）: 6.386917828177479
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The field of explainable AI has recently seen an explosion in the number of
explanation methods for highly non-linear deep neural networks. The extent to
which such methods -- that are often proposed and tested in the domain of
computer vision -- are appropriate to address the explainability challenges in
NLP is yet relatively unexplored. In this work, we consider Contextual
Decomposition (CD) -- a Shapley-based input feature attribution method that has
been shown to work well for recurrent NLP models -- and we test the extent to
which it is useful for models that contain attention operations. To this end,
we extend CD to cover the operations necessary for attention-based models. We
then compare how long distance subject-verb relationships are processed by
models with and without attention, considering a number of different syntactic
structures in two different languages: English and Dutch. Our experiments
confirm that CD can successfully be applied for attention-based models as well,
providing an alternative Shapley-based attribution method for modern neural
networks. In particular, using CD, we show that the English and Dutch models
demonstrate similar processing behaviour, but that under the hood there are
consistent differences between our attention and non-attention models.
- Abstract（参考訳）: 説明可能なAIの分野は、最近、高非線形ディープニューラルネットワークの説明方法が爆発的に増えている。
コンピュータビジョンの領域でしばしば提案され、テストされるそのような手法が、NLPにおける説明可能性の問題にどのように対処するかは、まだ明らかになっていない。
本研究では,繰り返しNLPモデルに有効であることを示すShapleyベースの入力特徴属性法であるContextual Decomposition (CD)について検討し,注意操作を含むモデルにどの程度有用かを検証する。
この目的のために、注意に基づくモデルに必要な操作をカバーするためにCDを拡張する。
次に,2つの異なる言語(英語とオランダ語)の異なる構文構造を考慮し,対象と対象の関係の長距離化をモデルと無注意で比較した。
我々の実験は、CDが注意に基づくモデルにもうまく適用可能であることを確認し、現代のニューラルネットワークに代替のShapleyベースの属性法を提供する。
特にCDを用いて、イギリスとオランダのモデルも同様な処理挙動を示すが、その内部では注意と非注意のモデルの間に一貫した違いがある。
関連論文リスト
- DISCO: DISCovering Overfittings as Causal Rules for Text Classification Models [6.369258625916601]
ポストホックの解釈可能性法は、モデルの意思決定プロセスを完全に捉えるのに失敗する。
本稿では,グローバルなルールベースの説明を見つけるための新しい手法であるdisCOを紹介する。
DISCOは対話的な説明をサポートし、人間の検査者がルールベースの出力で突発的な原因を区別できるようにする。
論文 参考訳（メタデータ） (2024-11-07T12:12:44Z) - A Survey of Low-shot Vision-Language Model Adaptation via Representer Theorem [38.84662767814454]
限られた訓練データの条件下で対処する主な課題は、パラメータ効率のよい方法で事前訓練された視覚言語モデルを微調整する方法である。
本稿では,既存の手法を統合化し,それらの性質を同定し,詳細な比較を支援するための統一的な計算フレームワークを提案する。
実演として、カーネルヒルベルト空間(RKHS)における表現子間のクラス間相関をモデル化し、既存の手法を拡張した。
論文 参考訳（メタデータ） (2024-10-15T15:22:30Z) - Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳（メタデータ） (2024-10-08T17:59:03Z) - Information Theoretic Text-to-Image Alignment [49.396917351264655]
本稿では,ステア画像生成のための情報理論アライメント尺度を用いた新しい手法を提案する。
提案手法は最先端の手法よりも優れているが,MIを推定するためには事前学習されたデノナイジングネットワークを必要としない。
論文 参考訳（メタデータ） (2024-05-31T12:20:02Z) - Automatic Discovery of Visual Circuits [66.99553804855931]
本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。
提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
論文 参考訳（メタデータ） (2024-04-22T17:00:57Z) - Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。
ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文 参考訳（メタデータ） (2024-01-11T18:57:17Z) - Feature Interactions Reveal Linguistic Structure in Language Models [2.0178765779788495]
本研究では,ポストホック解釈における特徴帰属手法の文脈における特徴的相互作用について検討した。
私たちは、正規言語分類タスクで完璧にモデルをトレーニングする灰色のボックスの方法論を開発します。
特定の構成下では、いくつかの手法が実際にモデルが獲得した文法規則を明らかにすることができることを示す。
論文 参考訳（メタデータ） (2023-06-21T11:24:41Z) - On the Interpretability of Attention Networks [1.299941371793082]
注意モデルがどのように正確かを示すが、解釈できないことを示し、そのようなモデルがトレーニングの結果として発生することを示す。
空間性を促進するために設計されたいくつかの注意モデル学習アルゴリズムを評価し、これらのアルゴリズムが解釈可能性を向上させることを実証する。
論文 参考訳（メタデータ） (2022-12-30T15:31:22Z) - Entity-Conditioned Question Generation for Robust Attention Distribution
in Neural Information Retrieval [51.53892300802014]
教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。
目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
論文 参考訳（メタデータ） (2022-04-24T22:36:48Z) - This looks more like that: Enhancing Self-Explaining Models by
Prototypical Relevance Propagation [17.485732906337507]
本稿では,自己説明型ネットワークであるProtoPNetのアーティファクトのスペクトルの存在下でのケーススタディを示す。
より正確なモデル認識説明を生成するための新しい手法を提案する。
クリーンなデータセットを得るために,アーティファクト画像を分離するためのマルチビュークラスタリング戦略を提案する。
論文 参考訳（メタデータ） (2021-08-27T09:55:53Z) - Bayesian Attention Belief Networks [59.183311769616466]
注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。
本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。
提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-06-09T17:46:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。