論文の概要: Evaluating Explanations for Reading Comprehension with Realistic Counterfactuals

• arxiv url: http://arxiv.org/abs/2104.04515v1
• Date: Fri, 9 Apr 2021 17:55:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 14:07:03.529661
• Title: Evaluating Explanations for Reading Comprehension with Realistic Counterfactuals
• Title（参考訳）: 現実的カウンターファクチャリティーを用いた読解記述の評価
• Authors: Xi Ye, Rohan Nair, Greg Durrett
• Abstract要約: 本稿では,機械読解タスクの説明を評価する手法を提案する。 説明は、現実的な反現実的な入力シナリオのセットに関して、RCモデルのハイレベルな振る舞いを理解することを可能にします。 本分析は,トークンレベルの属性よりもRCに適していることを示す。
• 参考スコア（独自算出の注目度）: 26.641834518599303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Token-level attributions have been extensively studied to explain model predictions for a wide range of classification tasks in NLP (e.g., sentiment analysis), but such explanation techniques are less explored for machine reading comprehension (RC) tasks. Although the transformer-based models used here are identical to those used for classification, the underlying reasoning these models perform is very different and different types of explanations are required. We propose a methodology to evaluate explanations: an explanation should allow us to understand the RC model's high-level behavior with respect to a set of realistic counterfactual input scenarios. We define these counterfactuals for several RC settings, and by connecting explanation techniques' outputs to high-level model behavior, we can evaluate how useful different explanations really are. Our analysis suggests that pairwise explanation techniques are better suited to RC than token-level attributions, which are often unfaithful in the scenarios we consider. We additionally propose an improvement to an attention-based attribution technique, resulting in explanations which better reveal the model's behavior.
• Abstract（参考訳）: NLPにおける幅広い分類タスク(例えば感情分析)のモデル予測を説明するために、トークンレベルの属性が広く研究されているが、そのような説明手法は機械読解(RC)タスクでは研究されていない。 ここで使用される変圧器ベースのモデルは分類に使用されるモデルと同一であるが、これらのモデルが実行する根本的な理由は非常に異なり、異なるタイプの説明が必要である。 そこで本研究では,RCモデルの高レベルな動作を現実的な反現実的な入力シナリオの集合に関して理解するための説明手法を提案する。 これらの反事実をいくつかのrc設定で定義し,説明手法の出力を高レベルモデル動作に結びつけることで,様々な説明がいかに有用であるかを評価できる。 分析から,ペアワイズによる説明手法はトークンレベルの帰属よりもrcに適していることが示唆された。 さらに,注意に基づく帰属手法の改良を提案し,モデル行動を明らかにするための説明を行った。

関連論文リスト

• Selective Explanations [14.312717332216073]
  機械学習モデルは、1つの推論だけで特徴属性スコアを予測するために訓練される。 その効率にもかかわらず、償却された説明者は不正確な予測や誤解を招く説明を生み出すことができる。 そこで本稿では,低品質な説明文を生成する際の特徴帰属手法である選択的説明文を提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:08:31Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Learning with Explanation Constraints [91.23736536228485]
  我々は、説明がモデルの学習をどのように改善するかを分析するための学習理論フレームワークを提供する。 我々は,多数の合成および実世界の実験に対して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T15:06:47Z)
• Understanding Post-hoc Explainers: The Case of Anchors [6.681943980068051]
  本稿では,テキストの判断を説明するために,少数の単語群をハイライトする規則に基づく解釈可能性法の理論解析を行う。 アルゴリズムを定式化し有用な洞察を提供した後、数学的にアンカーが有意義な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:56:34Z)
• Streamlining models with explanations in the learning loop [0.0]
  いくつかの説明可能なAIメソッドにより、機械学習ユーザーはブラックボックスモデルの分類プロセスに関する洞察を得ることができる。 この情報を利用して機能エンジニアリングフェーズを設計し、説明と機能バリューを組み合わせる。
  論文  参考訳（メタデータ） (2023-02-15T16:08:32Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。