論文の概要: Evaluating Explanations: How much do explanations from the teacher aid
students?
- arxiv url: http://arxiv.org/abs/2012.00893v1
- Date: Tue, 1 Dec 2020 23:40:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-30 21:05:41.685153
- Title: Evaluating Explanations: How much do explanations from the teacher aid
students?
- Title（参考訳）: 説明の評価:教員助成生からの説明はどの程度か?
- Authors: Danish Pruthi, Bhuwan Dhingra, Livio Baldini Soares, Michael Collins,
Zachary C. Lipton, Graham Neubig, William W. Cohen
- Abstract要約: 本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。
説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
- 参考スコア（独自算出の注目度）: 103.05037537415811
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While many methods purport to explain predictions by highlighting salient
features, what precise aims these explanations serve and how to evaluate their
utility are often unstated. In this work, we formalize the value of
explanations using a student-teacher paradigm that measures the extent to which
explanations improve student models in learning to simulate the teacher model
on unseen examples for which explanations are unavailable. Student models
incorporate explanations in training (but not prediction) procedures. Unlike
many prior proposals to evaluate explanations, our approach cannot be easily
gamed, enabling principled, scalable, and automatic evaluation of attributions.
Using our framework, we compare multiple attribution methods and observe
consistent and quantitative differences amongst them across multiple learning
strategies.
- Abstract（参考訳）: 健全な特徴を強調して予測を説明する方法が多いが、これらの説明の正確な目的と有用性を評価する方法はしばしば定かではない。
本研究は,説明が利用可能でない未確認例の教師モデルシミュレーションを学習中の生徒モデル改善の程度を測定する学生・教師パラダイムを用いて,説明の価値を定式化する。
学生モデルは(予測ではなく)訓練手順に説明を取り入れている。
説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にする。
このフレームワークを用いて,複数の帰属方法を比較し,複数の学習戦略で一貫性と定量的な差異を観察する。
関連論文リスト
- Selective Explanations [14.312717332216073]
機械学習モデルは、1つの推論だけで特徴属性スコアを予測するために訓練される。
その効率にもかかわらず、償却された説明者は不正確な予測や誤解を招く説明を生み出すことができる。
そこで本稿では,低品質な説明文を生成する際の特徴帰属手法である選択的説明文を提案する。
論文 参考訳（メタデータ） (2024-05-29T23:08:31Z) - Explainability for Machine Learning Models: From Data Adaptability to
User Perception [0.8702432681310401]
この論文は、すでにデプロイされた機械学習モデルに対する局所的な説明の生成を探求する。
データとユーザ要件の両方を考慮して、意味のある説明を生み出すための最適な条件を特定することを目的としている。
論文 参考訳（メタデータ） (2024-02-16T18:44:37Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Counterfactuals of Counterfactuals: a back-translation-inspired approach
to analyse counterfactual editors [3.4253416336476246]
我々は、反事実的、対照的な説明の分析に焦点をあてる。
本稿では,新しい逆翻訳に基づく評価手法を提案する。
本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
論文 参考訳（メタデータ） (2023-05-26T16:04:28Z) - Learning with Explanation Constraints [91.23736536228485]
我々は、説明がモデルの学習をどのように改善するかを分析するための学習理論フレームワークを提供する。
我々は,多数の合成および実世界の実験に対して,我々のアプローチの利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T15:06:47Z) - Complementary Explanations for Effective In-Context Learning [77.83124315634386]
大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。
この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
論文 参考訳（メタデータ） (2022-11-25T04:40:47Z) - Learning to Scaffold: Optimizing Model Explanations for Teaching [74.25464914078826]
我々は3つの自然言語処理とコンピュータビジョンタスクのモデルを訓練する。
筆者らは,本フレームワークで抽出した説明文を学習した学生が,従来の手法よりもはるかに効果的に教師をシミュレートできることを発見した。
論文 参考訳（メタデータ） (2022-04-22T16:43:39Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳（メタデータ） (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。