論文の概要: Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language?

• arxiv url: http://arxiv.org/abs/2010.04119v1
• Date: Thu, 8 Oct 2020 16:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 10:55:08.478793
• Title: Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language?
• Title（参考訳）: 漏洩調整型シミュラビリティ:モデルは自然言語における行動の非現実的説明を生成できるか?
• Authors: Peter Hase, Shiyue Zhang, Harry Xie, Mohit Bansal
• Abstract要約: 我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
• 参考スコア（独自算出の注目度）: 86.60613602337246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data collection for natural language (NL) understanding tasks has increasingly included human explanations alongside data points, allowing past works to introduce models that both perform a task and generate NL explanations for their outputs. Yet to date, model-generated explanations have been evaluated on the basis of surface-level similarities to human explanations, both through automatic metrics like BLEU and human evaluations. We argue that these evaluations are insufficient, since they fail to indicate whether explanations support actual model behavior (faithfulness), rather than simply match what a human would say (plausibility). In this work, we address the problem of evaluating explanations from the model simulatability perspective. Our contributions are as follows: (1) We introduce a leakage-adjusted simulatability (LAS) metric for evaluating NL explanations, which measures how well explanations help an observer predict a model's output, while controlling for how explanations can directly leak the output. We use a model as a proxy for a human observer, and validate this choice with two human subject experiments. (2) Using the CoS-E and e-SNLI datasets, we evaluate two existing generative graphical models and two new approaches; one rationalizing method we introduce achieves roughly human-level LAS scores. (3) Lastly, we frame explanation generation as a multi-agent game and optimize explanations for simulatability while penalizing label leakage, which can improve LAS scores. We provide code for the experiments in this paper at https://github.com/peterbhase/LAS-NL-Explanations
• Abstract（参考訳）: 自然言語理解タスクのためのデータ収集(NL)は、データポイントと並んで人間の説明を含むようになり、過去の作業ではタスクを実行し、出力に対してNLの説明を生成するモデルを導入することができた。 しかし、モデル生成の説明は、BLEUや人的評価のような自動測定によって、人的説明と表面レベルの類似性に基づいて評価されてきた。 我々は、これらの評価は、説明が実際のモデル行動(ファシフルネス)をサポートするかどうかを、単に人間の言うことと一致させるのではなく、示さないため、不十分であると主張する。 本研究では,モデル同化可能性の観点から説明を評価する問題に対処する。 我々は,(1)nl説明を評価するための漏えい調整同時性(las)指標を導入し,説明がモデルのアウトプットをいかに正確に予測するのに役立つかを計測し,説明が直接アウトプットを漏洩させるかを制御した。 ヒトの観察者のためのプロキシとしてモデルを使用し、この選択を2つの被験者実験で検証する。 2) CoS-E と e-SNLI のデータセットを用いて,既存の2つの生成グラフィカルモデルと2つの新しいアプローチを評価する。 (3) 最後に,多エージェントゲームとしての説明生成をフレーム化し, ラベルリークをペナライズしながらシミュラビリティの説明を最適化する。 本稿では, https://github.com/peterbhase/LAS-NL-Explanationsで実験のコードを提供する。

関連論文リスト

• XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
  時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。 伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。 時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
  論文  参考訳（メタデータ） (2024-10-18T05:16:39Z)
• Explainability for Machine Learning Models: From Data Adaptability to User Perception [0.8702432681310401]
  この論文は、すでにデプロイされた機械学習モデルに対する局所的な説明の生成を探求する。 データとユーザ要件の両方を考慮して、意味のある説明を生み出すための最適な条件を特定することを目的としている。
  論文  参考訳（メタデータ） (2024-02-16T18:44:37Z)
• Towards More Faithful Natural Language Explanation Using Multi-Level Contrastive Learning in VQA [7.141288053123662]
  視覚的質問応答(VQA-NLE)における自然言語の説明は,ブラックボックスシステムに対するユーザの信頼を高めるために,自然言語文を生成することによって,モデルの意思決定プロセスを説明することを目的としている。 既存のポストホックな説明は、人間の論理的推論と常に一致している訳ではなく、1) 誘惑的不満足な説明は、生成した説明が論理的に答えに繋がらないこと、2) 現実的不整合性、2) 画像上の事実を考慮せずに解答の反事実的説明を偽示すること、3) 意味的摂動の過敏性、モデルは、小さな摂動によって引き起こされる意味的変化を認識できないこと、である。
  論文  参考訳（メタデータ） (2023-12-21T05:51:55Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Are Human Explanations Always Helpful? Towards Objective Evaluation of Human Natural Language Explanations [27.624182544486334]
  人間の注釈による説明の質は、その有用性に基づいて測定できるという考え方に基づいて構築する。 モデル性能の説明の有用性を考慮に入れた新しい指標を定義する。
  論文  参考訳（メタデータ） (2023-05-04T19:31:50Z)
• To what extent do human explanations of model behavior align with actual model behavior? [91.67905128825402]
  モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。 自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。 モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
  論文  参考訳（メタデータ） (2020-12-24T17:40:06Z)
• Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior? [97.77183117452235]
  我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。 方法の有効性の明確な証拠はごく少数にみえる。 以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
  論文  参考訳（メタデータ） (2020-05-04T20:35:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。