論文の概要: Towards Benchmarking the Utility of Explanations for Model Debugging

• arxiv url: http://arxiv.org/abs/2105.04505v1
• Date: Mon, 10 May 2021 16:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 15:10:17.670419
• Title: Towards Benchmarking the Utility of Explanations for Model Debugging
• Title（参考訳）: モデルデバッグにおける説明の有用性のベンチマークに向けて
• Authors: Maximilian Idahl, Lijun Lyu, Ujwal Gadiraju, Avishek Anand
• Abstract要約: ポストホックな説明法の有用性を評価するためのベンチマークの必要性を論じる。 このようなベンチマークは、説明の有効性を評価するだけでなく、その効率を評価するのに役立ちます。
• 参考スコア（独自算出の注目度）: 13.135013586592585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-hoc explanation methods are an important class of approaches that help understand the rationale underlying a trained model's decision. But how useful are they for an end-user towards accomplishing a given task? In this vision paper, we argue the need for a benchmark to facilitate evaluations of the utility of post-hoc explanation methods. As a first step to this end, we enumerate desirable properties that such a benchmark should possess for the task of debugging text classifiers. Additionally, we highlight that such a benchmark facilitates not only assessing the effectiveness of explanations but also their efficiency.
• Abstract（参考訳）: ポストホックな説明法は、訓練されたモデルの決定の根拠を理解するための重要なアプローチのクラスである。 しかし、エンドユーザーが特定のタスクを達成するのにどれくらい役に立つか? 本稿では,ポストホックな説明手法の有効性を評価するためのベンチマークの必要性を論じる。 この目的の最初のステップとして、そのようなベンチマークがテキスト分類器をデバッグするタスクのために持つべき望ましいプロパティを列挙する。 さらに,このようなベンチマークは,説明の有効性を評価するだけでなく,その効率性を評価するのに役立つことを強調する。

関連論文リスト

• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Selective Explanations [14.312717332216073]
  機械学習モデルは、1つの推論だけで特徴属性スコアを予測するために訓練される。 その効率にもかかわらず、償却された説明者は不正確な予測や誤解を招く説明を生み出すことができる。 そこで本稿では,低品質な説明文を生成する際の特徴帰属手法である選択的説明文を提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:08:31Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Complementary Explanations for Effective In-Context Learning [77.83124315634386]
  大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。 この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2022-11-25T04:40:47Z)
• The Solvability of Interpretability Evaluation Metrics [7.3709604810699085]
  特徴帰属法は、包括性や充足性などの指標でしばしば評価される。 本稿では,これらの指標の興味深い性質,すなわち可解性について述べる。 このビームサーチの説明器は、一般に現在の選択に匹敵するか、好適であることを示す一連の調査を提示する。
  論文  参考訳（メタデータ） (2022-05-18T02:52:03Z)
• A Unified Study of Machine Learning Explanation Evaluation Metrics [16.4602888153369]
  説明のための既存の指標の多くは,提案手法の副産物として研究者によって導入され,それらの手法の利点を実証している。 確認および正当化されたメトリクスの欠如は、これらの説明方法のベンチマークにおいてカオスをもたらすと我々は主張する。 本稿では、機械学習の説明評価における問題への対処に関するガイドラインを提案し、説明手法やメトリクスを開発する際に、研究者が慎重にこれらの問題に対処するよう促す。
  論文  参考訳（メタデータ） (2022-03-27T10:12:06Z)
• Diagnostics-Guided Explanation Generation [32.97930902104502]
  説明は機械学習モデルの合理性に光を当て、推論プロセスにおける欠陥の特定に役立ちます。 文レベルの説明を生成するためにモデルを訓練する際、いくつかの診断特性を最適化する方法を示す。
  論文  参考訳（メタデータ） (2021-09-08T16:27:52Z)
• Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
  本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。 説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
  論文  参考訳（メタデータ） (2020-12-01T23:40:21Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。