論文の概要: Are Human Explanations Always Helpful? Towards Objective Evaluation of Human Natural Language Explanations

• arxiv url: http://arxiv.org/abs/2305.03117v2
• Date: Mon, 22 May 2023 05:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 02:50:43.650702
• Title: Are Human Explanations Always Helpful? Towards Objective Evaluation of Human Natural Language Explanations
• Title（参考訳）: 人間の説明はいつも役に立つのか? 自然言語説明の客観的評価に向けて
• Authors: Bingsheng Yao, Prithviraj Sen, Lucian Popa, James Hendler and Dakuo Wang
• Abstract要約: 人間の注釈による説明の質は、その有用性に基づいて測定できるという考え方に基づいて構築する。 モデル性能の説明の有用性を考慮に入れた新しい指標を定義する。
• 参考スコア（独自算出の注目度）: 27.624182544486334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human-annotated labels and explanations are critical for training explainable NLP models. However, unlike human-annotated labels whose quality is easier to calibrate (e.g., with a majority vote), human-crafted free-form explanations can be quite subjective. Before blindly using them as ground truth to train ML models, a vital question needs to be asked: How do we evaluate a human-annotated explanation's quality? In this paper, we build on the view that the quality of a human-annotated explanation can be measured based on its helpfulness (or impairment) to the ML models' performance for the desired NLP tasks for which the annotations were collected. In comparison to the commonly used Simulatability score, we define a new metric that can take into consideration the helpfulness of an explanation for model performance at both fine-tuning and inference. With the help of a unified dataset format, we evaluated the proposed metric on five datasets (e.g., e-SNLI) against two model architectures (T5 and BART), and the results show that our proposed metric can objectively evaluate the quality of human-annotated explanations, while Simulatability falls short.
• Abstract（参考訳）: 人間の注釈付きラベルと説明は、説明可能なNLPモデルのトレーニングに不可欠である。 しかし、品質が校正し易い(例えば多数決など)注釈付きラベルとは異なり、人造自由形の説明は非常に主観的である。 mlモデルをトレーニングするための基礎的真実として盲目的に使用する前に、重要な疑問を問う必要がある。 本稿では、アノテーションが収集された所望のNLPタスクに対して、MLモデルの性能に対する有用性(または障害)に基づいて、人手による説明の質を計測できるという視点に基づいて構築する。 汎用のシミュラタビリティスコアと比較し、微調整と推論の両方におけるモデル性能の説明の有益さを考慮に入れることができる新しいメトリクスを定義した。 統合されたデータセットフォーマットを用いて,提案手法を5つのデータセット(例えばe-SNLI)上で2つのモデルアーキテクチャ(T5とBART)に対して評価し,提案手法が人間に注釈付けされた説明の質を客観的に評価できることを示した。

関連論文リスト

• XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
  時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。 伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。 時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
  論文  参考訳（メタデータ） (2024-10-18T05:16:39Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Digital Socrates: Evaluating LLMs through Explanation Critiques [37.25959112212333]
  Digital Socratesは、モデル説明のためのオープンソースの自動批評モデルである。 我々は,デジタルソクラテスが学生モデルについての洞察を明らかにするのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2023-11-16T06:51:46Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation [68.9440575276396]
  この調査は、人間のフィードバックを利用して自然言語生成を改善した最近の研究の概要を提供することを目的としている。 まず、フィードバックの形式化を包括的に導入し、この形式化に続いて既存の分類学研究を特定・整理する。 第二に、フィードバックを形式や目的によってどのように記述するかを議論し、フィードバック(トレーニングやデコード)を直接使用したり、フィードバックモデルをトレーニングしたりするための2つのアプローチについて取り上げる。 第3に、AIフィードバックの生まれたばかりの分野の概要を紹介します。これは、大きな言語モデルを利用して、一連の原則に基づいて判断し、必要最小限にします。
  論文  参考訳（メタデータ） (2023-05-01T17:36:06Z)
• A Song of (Dis)agreement: Evaluating the Evaluation of Explainable Artificial Intelligence in Natural Language Processing [7.527234046228323]
  我々は、注意に基づく説明のための評価指標としてランク相関を用いるのをやめるべきであると主張している。 注意に基づく説明は,最近の特徴帰属法と強く相関しないことがわかった。
  論文  参考訳（メタデータ） (2022-05-09T21:07:39Z)
• To what extent do human explanations of model behavior align with actual model behavior? [91.67905128825402]
  モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。 自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。 モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
  論文  参考訳（メタデータ） (2020-12-24T17:40:06Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。