論文の概要: Diagnostics-Guided Explanation Generation

• arxiv url: http://arxiv.org/abs/2109.03756v1
• Date: Wed, 8 Sep 2021 16:27:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-09 16:54:24.574965
• Title: Diagnostics-Guided Explanation Generation
• Title（参考訳）: 診断ガイドによる説明生成
• Authors: Pepa Atanasova, Jakob Grue Simonsen, Christina Lioma, Isabelle Augenstein
• Abstract要約: 説明は機械学習モデルの合理性に光を当て、推論プロセスにおける欠陥の特定に役立ちます。 文レベルの説明を生成するためにモデルを訓練する際、いくつかの診断特性を最適化する方法を示す。
• 参考スコア（独自算出の注目度）: 32.97930902104502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explanations shed light on a machine learning model's rationales and can aid in identifying deficiencies in its reasoning process. Explanation generation models are typically trained in a supervised way given human explanations. When such annotations are not available, explanations are often selected as those portions of the input that maximise a downstream task's performance, which corresponds to optimising an explanation's Faithfulness to a given model. Faithfulness is one of several so-called diagnostic properties, which prior work has identified as useful for gauging the quality of an explanation without requiring annotations. Other diagnostic properties are Data Consistency, which measures how similar explanations are for similar input instances, and Confidence Indication, which shows whether the explanation reflects the confidence of the model. In this work, we show how to directly optimise for these diagnostic properties when training a model to generate sentence-level explanations, which markedly improves explanation quality, agreement with human rationales, and downstream task performance on three complex reasoning tasks.
• Abstract（参考訳）: 説明は機械学習モデルの合理性に光を当て、推論プロセスにおける欠陥の特定を支援する。 説明生成モデルは通常、人間の説明に従って教師付きで訓練される。 このようなアノテーションが利用できない場合、説明を下流タスクのパフォーマンスを最大化する入力の部分として選択することがよくあり、それは与えられたモデルに対する説明の忠実さの最適化に相当する。 Faithfulnessは、いくつかのいわゆる診断特性の1つであり、それ以前の研究は、アノテーションを必要とせずに説明の質を測るのに役立つと認識していた。 その他の診断特性としてData Consistencyがあり、同様のインプットインスタンスに対する説明がどのように類似しているかを測定する。 本研究は,3つの複雑な推論タスクにおいて,説明の質,人間的合理性との一致,ダウンストリームタスクのパフォーマンスを著しく向上させる,文レベルの説明生成のためのモデルのトレーニングにおいて,これらの診断特性を直接最適化する方法を示す。

関連論文リスト

• Selective Explanations [14.312717332216073]
  機械学習モデルは、1つの推論だけで特徴属性スコアを予測するために訓練される。 その効率にもかかわらず、償却された説明者は不正確な予測や誤解を招く説明を生み出すことができる。 そこで本稿では,低品質な説明文を生成する際の特徴帰属手法である選択的説明文を提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:08:31Z)
• Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
  ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。 本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:39:33Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• ExSum: From Local Explanations to Model Understanding [6.23934576145261]
  ブラックボックスモデルの動作メカニズムを理解するために,解釈可能性法を開発した。 この目標をフルフィルするには、これらのメソッドによって生成された説明が正しいことと、人々が容易に確実に理解できることの両方が必要である。 本稿では,モデル理解の定量化のための数学的枠組みである説明要約(ExSum)を紹介する。
  論文  参考訳（メタデータ） (2022-04-30T02:07:20Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。