論文の概要: Evaluating Explanation Methods for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2005.01672v1
• Date: Mon, 4 May 2020 17:26:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 00:56:02.483096
• Title: Evaluating Explanation Methods for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のための説明方法の評価
• Authors: Jierui Li, Lemao Liu, Huayang Li, Guanlin Li, Guoping Huang, Shuming Shi
• Abstract要約: NMTモデルの予測挙動に関する忠実度に基づく原理的計量を提案する。 6つの標準翻訳課題において,提案手法を定量的に評価する。
• 参考スコア（独自算出の注目度）: 44.836653992441455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently many efforts have been devoted to interpreting the black-box NMT models, but little progress has been made on metrics to evaluate explanation methods. Word Alignment Error Rate can be used as such a metric that matches human understanding, however, it can not measure explanation methods on those target words that are not aligned to any source word. This paper thereby makes an initial attempt to evaluate explanation methods from an alternative viewpoint. To this end, it proposes a principled metric based on fidelity in regard to the predictive behavior of the NMT model. As the exact computation for this metric is intractable, we employ an efficient approach as its approximation. On six standard translation tasks, we quantitatively evaluate several explanation methods in terms of the proposed metric and we reveal some valuable findings for these explanation methods in our experiments.
• Abstract（参考訳）: 近年,ブラックボックスNMTモデルの解釈に多くの努力が注がれているが,説明手法を評価するための指標についてはほとんど進歩していない。 単語アライメント誤り率(Word Alignment Error Rate)は、人間の理解に合致する指標として用いることができるが、どの単語にも一致しない対象単語に対する説明方法を測定することはできない。 そこで本稿では,代替的な視点から説明手法の評価を試みている。 この目的のために、NMTモデルの予測挙動に関する忠実度に基づく原則付き計量を提案する。 この計量の正確な計算は難解であるため、近似として効率的な手法を用いる。 6つの標準翻訳タスクにおいて,提案手法を用いていくつかの説明方法を定量的に評価した。

関連論文リスト

• Rethinking Distance Metrics for Counterfactual Explainability [53.436414009687]
  本研究では, 反事実を参照領域から独立して引き出すのではなく, 基礎となるデータ分布からの参照と共同してサンプリングする, 反事実生成手法のフレーミングについて検討する。 我々は、幅広い設定に適用可能な、反ファクト的な類似性のために調整された距離メートル法を導出する。
  論文  参考訳（メタデータ） (2024-10-18T15:06:50Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations [118.0818807474809]
  帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。 自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。 この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:35:10Z)
• Robustness of Explanation Methods for NLP Models [5.191443390565865]
  説明手法は、ニューラルネットワークの予測に責任を負う特徴を強調する重要なツールとして登場した。 多くの説明手法は信頼性が低く、悪意のある操作に影響を受けやすいという証拠が増えている。 テキスト説明に対する敵攻撃を成功させるための最初の洞察と結果を提供する。
  論文  参考訳（メタデータ） (2022-06-24T13:34:07Z)
• Principled Paraphrase Generation with Parallel Corpora [52.78059089341062]
  ラウンドトリップ機械翻訳によって引き起こされる暗黙の類似性関数を形式化する。 一つのあいまいな翻訳を共有する非パラフレーズ対に感受性があることが示される。 この問題を緩和する別の類似度指標を設計する。
  論文  参考訳（メタデータ） (2022-05-24T17:22:42Z)
• The Solvability of Interpretability Evaluation Metrics [7.3709604810699085]
  特徴帰属法は、包括性や充足性などの指標でしばしば評価される。 本稿では,これらの指標の興味深い性質,すなわち可解性について述べる。 このビームサーチの説明器は、一般に現在の選択に匹敵するか、好適であることを示す一連の調査を提示する。
  論文  参考訳（メタデータ） (2022-05-18T02:52:03Z)
• A Unified Study of Machine Learning Explanation Evaluation Metrics [16.4602888153369]
  説明のための既存の指標の多くは,提案手法の副産物として研究者によって導入され,それらの手法の利点を実証している。 確認および正当化されたメトリクスの欠如は、これらの説明方法のベンチマークにおいてカオスをもたらすと我々は主張する。 本稿では、機械学習の説明評価における問題への対処に関するガイドラインを提案し、説明手法やメトリクスを開発する際に、研究者が慎重にこれらの問題に対処するよう促す。
  論文  参考訳（メタデータ） (2022-03-27T10:12:06Z)
• On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation [23.72825603188359]
  我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。 本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
  論文  参考訳（メタデータ） (2021-06-09T00:49:56Z)
• Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
  本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。 説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
  論文  参考訳（メタデータ） (2020-12-01T23:40:21Z)
• Approximate MMAP by Marginal Search [78.50747042819503]
  本稿では,グラフィカルモデルにおける最小値MAPクエリの戦略を提案する。 提案した信頼度尺度は,アルゴリズムが正確であるインスタンスを適切に検出するものである。 十分に高い信頼度を得るために、アルゴリズムは正確な解を与えるか、正確な解からハミング距離が小さい近似を与える。
  論文  参考訳（メタデータ） (2020-02-12T07:41:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。