論文の概要: Easy to Decide, Hard to Agree: Reducing Disagreements Between Saliency Methods

• arxiv url: http://arxiv.org/abs/2211.08369v1
• Date: Tue, 15 Nov 2022 18:18:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 14:45:19.340969
• Title: Easy to Decide, Hard to Agree: Reducing Disagreements Between Saliency Methods
• Title（参考訳）: 決断し易く、同意し難い: 相性メソッド間の相違を減らす
• Authors: Josip Juki\'c, Martin Tutek, Jan \v{S}najder
• Abstract要約: ランク相関は合意を評価するのに適していないことを示す。 また,注意力説明の忠実度を高める正規化手法が,正当性評価手法の一致を増大させることを示す。
• 参考スコア（独自算出の注目度）: 0.15039745292757667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A popular approach to unveiling the black box of neural NLP models is to leverage saliency methods, which assign scalar importance scores to each input component. A common practice for evaluating whether an interpretability method is \textit{faithful} and \textit{plausible} has been to use evaluation-by-agreement -- multiple methods agreeing on an explanation increases its credibility. However, recent work has found that even saliency methods have weak rank correlations and advocated for the use of alternative diagnostic methods. In our work, we demonstrate that rank correlation is not a good fit for evaluating agreement and argue that Pearson-$r$ is a better suited alternative. We show that regularization techniques that increase faithfulness of attention explanations also increase agreement between saliency methods. Through connecting our findings to instance categories based on training dynamics we show that, surprisingly, easy-to-learn instances exhibit low agreement in saliency method explanations.
• Abstract（参考訳）: ニューラルNLPモデルのブラックボックスを公開するための一般的なアプローチは、各入力コンポーネントにスカラー重要度スコアを割り当てるサリエンシ手法を活用することである。 解釈可能性メソッドが \textit{faithful} と \textit{plausible} であるかどうかを評価するための一般的なプラクティスは、評価・バイ・アグリメントを使うことであった。 しかし,近年の研究では,サラエンシ法でさえランク相関が弱く,代替診断法の利用が推奨されている。 私たちの研究では、ランク相関が合意の評価に適さないことを実証し、pearson-$r$がより適した代替手段であると主張する。 注意説明の忠実性を高める正規化手法は, 給与法間の合意を増加させることを示した。 トレーニングのダイナミクスに基づく事例分類に本研究の成果を結びつけることで, 驚くほど, 学習が容易な事例は, サリエンシメソッドの説明において低い一致を示した。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Comparing Explanation Methods for Traditional Machine Learning Models Part 2: Quantifying Model Explainability Faithfulness and Improvements with Dimensionality Reduction [0.0]
  忠実さ」または「忠実さ」とは、割り当てられた特徴の重要性と、その特徴のモデル性能への貢献の対応を指す。 本研究は,関係する特徴を限定することによる説明可能性の向上と,異なる説明可能性手法の相対的忠実性を知ることから,初めて説明可能性の向上を定量化した1つである。
  論文  参考訳（メタデータ） (2022-11-18T17:15:59Z)
• Differentiable Data Augmentation for Contrastive Sentence Representation Learning [6.398022050054328]
  提案手法は, 半教師付き設定と教師付き設定の両方において, 既存手法よりも大幅に改善されている。 また,低ラベルデータ設定による実験により,本手法は最先端のコントラスト学習法よりもラベル効率が高いことが示された。
  論文  参考訳（メタデータ） (2022-10-29T08:57:45Z)
• "Will You Find These Shortcuts?" A Protocol for Evaluating the Faithfulness of Input Salience Methods for Text Classification [38.22453895596424]
  本稿では,部分合成データを用いて特徴重要度ランキングの真理を得る忠実度評価プロトコルを提案する。 BERT と LSTM モデルのデータセットおよびショートカットの4つの標準サリエンス法クラスを詳細に解析する。 ショートカットを識別する最良の方法を見つけるために、新しいタスクとモデルの組み合わせごとにプロトコルに従うことを推奨する。
  論文  参考訳（メタデータ） (2021-11-14T15:31:29Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Direct Advantage Estimation [63.52264764099532]
  予測されるリターンは、学習を遅くする可能性のある望ましくない方法でポリシーに依存する可能性があることを示します。 本稿では,優位関数をモデル化し,データから直接推定する手法として,DAE(Direct Advantage Estimation)を提案する。 望むなら、値関数をDAEにシームレスに統合して、時間差学習と同様の方法で更新することもできる。
  論文  参考訳（メタデータ） (2021-09-13T16:09:31Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)
• There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
  正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。 このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。 本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:58:08Z)
• An end-to-end approach for the verification problem: learning the right distance [15.553424028461885]
  パラメトリックな擬似距離を導入し、エンコーダと共同で学習することで、メトリック学習の設定を強化する。 まず、仮説テストに使用できる確率比を近似して示す。 提案手法では,実際の距離を持つメートル法学習に比べて,学習の簡易化が図られている。
  論文  参考訳（メタデータ） (2020-02-21T18:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。