論文の概要: "Will You Find These Shortcuts?" A Protocol for Evaluating the Faithfulness of Input Salience Methods for Text Classification

• arxiv url: http://arxiv.org/abs/2111.07367v1
• Date: Sun, 14 Nov 2021 15:31:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-17 08:37:14.061002
• Title: "Will You Find These Shortcuts?" A Protocol for Evaluating the Faithfulness of Input Salience Methods for Text Classification
• Title（参考訳）: 「このショートカットは見つけましたか?」 テキスト分類のための入力サリエンス手法の忠実度評価のためのプロトコル
• Authors: Jasmijn Bastings, Sebastian Ebert, Polina Zablotskaia, Anders Sandholm, Katja Filippova
• Abstract要約: 本稿では,部分合成データを用いて特徴重要度ランキングの真理を得る忠実度評価プロトコルを提案する。 BERT と LSTM モデルのデータセットおよびショートカットの4つの標準サリエンス法クラスを詳細に解析する。 ショートカットを識別する最良の方法を見つけるために、新しいタスクとモデルの組み合わせごとにプロトコルに従うことを推奨する。
• 参考スコア（独自算出の注目度）: 38.22453895596424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature attribution a.k.a. input salience methods which assign an importance score to a feature are abundant but may produce surprisingly different results for the same model on the same input. While differences are expected if disparate definitions of importance are assumed, most methods claim to provide faithful attributions and point at the features most relevant for a model's prediction. Existing work on faithfulness evaluation is not conclusive and does not provide a clear answer as to how different methods are to be compared. Focusing on text classification and the model debugging scenario, our main contribution is a protocol for faithfulness evaluation that makes use of partially synthetic data to obtain ground truth for feature importance ranking. Following the protocol, we do an in-depth analysis of four standard salience method classes on a range of datasets and shortcuts for BERT and LSTM models and demonstrate that some of the most popular method configurations provide poor results even for simplest shortcuts. We recommend following the protocol for each new task and model combination to find the best method for identifying shortcuts.
• Abstract（参考訳）: 特徴の帰属 a.k.a. 特徴に重要スコアを割り当てる入力サリエンスメソッドは豊富であるが、同じ入力で同じモデルに対して驚くほど異なる結果を生み出す可能性がある。 異なる重要性の定義が仮定される場合、違いは期待できるが、ほとんどのメソッドは忠実な属性を提供し、モデルの予測に最も関係のある特徴を指摘する。 忠実度評価に関する既存の作業は決定的ではなく、どのように異なる方法を比較するべきかに関して明確な答えを提供していない。 テキスト分類とモデルデバッグシナリオに着目し,機能重要度ランキングのための基礎的真理を得るために,部分的な合成データを用いた忠実度評価のためのプロトコルを提案する。 提案プロトコルに従って,BERT および LSTM モデルのデータセットおよびショートカットの4つの標準サリエンスメソッドクラスを詳細に解析し,最も一般的なメソッド構成のいくつかは,最も単純なショートカットであっても結果が悪いことを実証する。 ショートカットを識別する最良の方法を見つけるために、新しいタスクとモデルの組み合わせごとにプロトコルに従うことを推奨する。

関連論文リスト

• Easy to Decide, Hard to Agree: Reducing Disagreements Between Saliency Methods [0.15039745292757667]
  本研究では,同じモデルインスタンスに適用した場合においても,サリエンシ法は低いランク相関を示すことを示す。 注意深い説明の忠実度を高める正規化技術は、給与法間の合意も高める。
  論文  参考訳（メタデータ） (2022-11-15T18:18:34Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Label-Descriptive Patterns and their Application to Characterizing Classification Errors [31.272875287136426]
  最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。 これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。 本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T19:42:21Z)
• Finding Significant Features for Few-Shot Learning using Dimensionality Reduction [0.0]
  このモジュールは、計量学習法により与えられる類似度関数を、分類のためのより識別的な特徴を持つようにすることで、精度の向上を支援する。 提案手法は,MiniImageNetデータセットにおけるメトリック学習ベースラインの精度を約2%向上させる。
  論文  参考訳（メタデータ） (2021-07-06T16:36:57Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• MatchVIE: Exploiting Match Relevancy between Entities for Visual Information Extraction [48.55908127994688]
  我々は、VIE(MatchVIE)のためのグラフニューラルネットワークに基づく新しいキー値マッチングモデルを提案する。 関連性評価に基づくキー値マッチングにより、提案したMatchVIEは、認識を様々な意味論にバイパスすることができる。 我々は、エンコードされた値の不安定性に対処するために、単純だが効果的な操作であるNum2Vecを導入する。
  論文  参考訳（メタデータ） (2021-06-24T12:06:29Z)
• Variable Instance-Level Explainability for Text Classification [9.147707153504117]
  本論文では,インスタンスレベルでの異なる特徴スコアリング手法を用いて変数長説明を抽出する手法を提案する。 本手法は,従来の固定長および固定長のスコアリング手法と比較して,より忠実な説明を提供する。
  論文  参考訳（メタデータ） (2021-04-16T16:53:48Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。