論文の概要: Robust Infidelity: When Faithfulness Measures on Masked Language Models Are Misleading
- arxiv url: http://arxiv.org/abs/2308.06795v2
- Date: Fri, 31 May 2024 22:41:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 21:10:26.431874
- Title: Robust Infidelity: When Faithfulness Measures on Masked Language Models Are Misleading
- Title（参考訳）: 頑健な不信感: マスク語モデルに対する不信感の度合いが誤っているとき
- Authors: Evan Crothers, Herna Viktor, Nathalie Japkowicz,
- Abstract要約: 繰り返しマスキングは、それと同等のトランスフォーマーエンコーダテキスト分類器間の忠実度スコアに大きな変化をもたらすことを示す。
本稿では,反復型マスキングを用いた解釈可能性比較の原則的比較を損なうタスク固有の考察を考察する。
- 参考スコア（独自算出の注目度）: 5.124348720450654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A common approach to quantifying neural text classifier interpretability is to calculate faithfulness metrics based on iteratively masking salient input tokens and measuring changes in the model prediction. We propose that this property is better described as "sensitivity to iterative masking", and highlight pitfalls in using this measure for comparing text classifier interpretability. We show that iterative masking produces large variation in faithfulness scores between otherwise comparable Transformer encoder text classifiers. We then demonstrate that iteratively masked samples produce embeddings outside the distribution seen during training, resulting in unpredictable behaviour. We further explore task-specific considerations that undermine principled comparison of interpretability using iterative masking, such as an underlying similarity to salience-based adversarial attacks. Our findings give insight into how these behaviours affect neural text classifiers, and provide guidance on how sensitivity to iterative masking should be interpreted.
- Abstract（参考訳）: ニューラルネットワーク分類器の解釈可能性の定量化における一般的なアプローチは、有能な入力トークンを反復的にマスキングし、モデル予測の変化を測定することによって、忠実度メトリクスを計算することである。
本稿では,この特性を「反復的マスキングに対する感受性」と表現し,テキスト分類器の解釈可能性の比較に用いた際の落とし穴を浮き彫りにする。
繰り返しマスキングは、それと同等のトランスフォーマーエンコーダテキスト分類器間の忠実度スコアに大きな変化をもたらすことを示す。
次に、反復的にマスクされたサンプルがトレーニング中に見られる分布の外に埋め込みを生成し、予測不可能な振る舞いをもたらすことを示す。
さらに,反復マスキングによる解釈可能性の原理的比較を損なうタスク固有の考察を考察する。
本研究は,これらの行動がニューラルテキスト分類器にどのように影響するかを考察し,反復マスキングに対する感受性の解釈方法についてのガイダンスを提供する。
関連論文リスト
- Learning Robust Classifiers with Self-Guided Spurious Correlation Mitigation [26.544938760265136]
ディープニューラル分類器は、入力のスプリアス属性とターゲットの間のスプリアス相関に頼り、予測を行う。
本稿では,自己誘導型スプリアス相関緩和フレームワークを提案する。
予測行動の違いを識別するために分類器の訓練を行うことで,事前知識を必要とせず,素因関係への依存を軽減できることを示す。
論文 参考訳（メタデータ） (2024-05-06T17:12:21Z) - Regressor-Segmenter Mutual Prompt Learning for Crowd Counting [70.49246560246736]
本稿では,アノテーションの差によるバイアスや不正確性を解決するために,相互学習(mPrompt)を提案する。
実験により、mPromptは平均誤差(MAE)を著しく減少させることが示された。
論文 参考訳（メタデータ） (2023-12-04T07:53:59Z) - How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。
ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。
実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-07T12:02:00Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Explaining Image Classifiers Using Contrastive Counterfactuals in
Generative Latent Spaces [12.514483749037998]
本稿では,画像分類器の因果的かつ解釈可能な反事実的説明を生成する新しい手法を提案する。
我々は、ブラックボックス分類器のグローバルな説明として、コントラスト的かつ因果的満足度と必要性スコアを得るために、このフレームワークを使用します。
論文 参考訳（メタデータ） (2022-06-10T17:54:46Z) - On the rate of convergence of a classifier based on a Transformer
encoder [55.41148606254641]
最適誤分類確率に対する分類器の誤分類確率の収束率を分析する。
この分類器は,アポテリオリ確率が適切な階層的構成モデルを満たす場合,次元性の呪いを回避することができる。
論文 参考訳（メタデータ） (2021-11-29T14:58:29Z) - Disentangling Representations of Text by Masking Transformers [27.6903196190087]
トランスウェイトや隠れたユニット上のバイナリマスクを学習し、特定の変動要因と相関する特徴のサブセットを明らかにします。
本稿では,映画評論における感情表現をジャンルから切り離す能力,つぶやきにおける方言からの「毒性」,意味論からの構文について評価する。
論文 参考訳（メタデータ） (2021-04-14T22:45:34Z) - Disentangled Contrastive Learning for Learning Robust Textual
Representations [13.880693856907037]
運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。
NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
論文 参考訳（メタデータ） (2021-04-11T03:32:49Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z) - Learning Variational Word Masks to Improve the Interpretability of
Neural Text Classifiers [21.594361495948316]
モデルの解釈可能性を改善するための新しい取り組みが始まったばかりで、既存の多くのメソッドでは、トレーニングの追加インプットとして事前情報または人的アノテーションが必要である。
本稿では,タスク固有の重要な単語を自動的に学習し,分類に関する無関係な情報を低減し,最終的にモデル予測の解釈可能性を向上させるための変分語マスク(VMASK)手法を提案する。
論文 参考訳（メタデータ） (2020-10-01T20:02:43Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。