論文の概要: Learning to Scaffold: Optimizing Model Explanations for Teaching

• arxiv url: http://arxiv.org/abs/2204.10810v1
• Date: Fri, 22 Apr 2022 16:43:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-25 12:39:16.463358
• Title: Learning to Scaffold: Optimizing Model Explanations for Teaching
• Title（参考訳）: Scaffoldへの学習: 教師のためのモデル説明の最適化
• Authors: Patrick Fernandes, Marcos Treviso, Danish Pruthi, Andr\'e F. T. Martins, Graham Neubig
• Abstract要約: 我々は3つの自然言語処理とコンピュータビジョンタスクのモデルを訓練する。 筆者らは,本フレームワークで抽出した説明文を学習した学生が,従来の手法よりもはるかに効果的に教師をシミュレートできることを発見した。
• 参考スコア（独自算出の注目度）: 74.25464914078826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern machine learning models are opaque, and as a result there is a burgeoning academic subfield on methods that explain these models' behavior. However, what is the precise goal of providing such explanations, and how can we demonstrate that explanations achieve this goal? Some research argues that explanations should help teach a student (either human or machine) to simulate the model being explained, and that the quality of explanations can be measured by the simulation accuracy of students on unexplained examples. In this work, leveraging meta-learning techniques, we extend this idea to improve the quality of the explanations themselves, specifically by optimizing explanations such that student models more effectively learn to simulate the original model. We train models on three natural language processing and computer vision tasks, and find that students trained with explanations extracted with our framework are able to simulate the teacher significantly more effectively than ones produced with previous methods. Through human annotations and a user study, we further find that these learned explanations more closely align with how humans would explain the required decisions in these tasks. Our code is available at https://github.com/coderpat/learning-scaffold
• Abstract（参考訳）: 現代の機械学習モデルは不透明であり、その結果、これらのモデルの振る舞いを説明する方法に関する学術的なサブフィールドが急成長している。 しかし、そのような説明を提供することの正確な目的は何ですか。 いくつかの研究は、説明は説明されているモデルをシミュレーションするために学生(人間または機械)に教えるのに役立つべきであり、説明の質は説明されていない例の学生のシミュレーション精度によって測定できると主張している。 本研究は,メタラーニング技術を活用して,学生モデルが原モデルのシミュレートをより効果的に学習するように説明を最適化することによって,説明自体の品質向上を図る。 3つの自然言語処理タスクとコンピュータビジョンタスクでモデルをトレーニングし,提案フレームワークを用いて抽出した説明を訓練した学生が,従来の手法で作成したものよりもはるかに効果的に教師をシミュレートできることを見出した。 ヒューマンアノテーションとユーザスタディを通じて、これらの学習された説明は、これらのタスクで必要な決定を人間がどのように説明するかとより密接に一致することが分かりました。 私たちのコードはhttps://github.com/coderpat/learning-scaffoldで利用可能です。

関連論文リスト

• Explainability for Machine Learning Models: From Data Adaptability to User Perception [0.8702432681310401]
  この論文は、すでにデプロイされた機械学習モデルに対する局所的な説明の生成を探求する。 データとユーザ要件の両方を考慮して、意味のある説明を生み出すための最適な条件を特定することを目的としている。
  論文  参考訳（メタデータ） (2024-02-16T18:44:37Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Can I Trust the Explanations? Investigating Explainable Machine Learning Methods for Monotonic Models [0.0]
  ほとんどの説明可能な機械学習手法は、ドメイン知識のないブラックボックスモデルに適用される。 ドメイン知識を取り入れることで、科学インフォームド機械学習モデルはより優れた一般化と解釈を示してきた。
  論文  参考訳（メタデータ） (2023-09-23T03:59:02Z)
• Learning with Explanation Constraints [91.23736536228485]
  我々は、説明がモデルの学習をどのように改善するかを分析するための学習理論フレームワークを提供する。 我々は,多数の合成および実世界の実験に対して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T15:06:47Z)
• Counterfactual Explanations for Models of Code [11.678590247866534]
  機械学習(ML)モデルは、多くのソフトウェアエンジニアリングタスクにおいて、ますます一般的な役割を担っている。 開発者が、なぜモデルが一定の結論に達したのか、モデルの予測にどのように対応すべきかを理解するのは難しいかもしれません。 本稿では,ソースコードのモデルに対する反実的説明について考察する。
  論文  参考訳（メタデータ） (2021-11-10T14:44:19Z)
• Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
  本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。 説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
  論文  参考訳（メタデータ） (2020-12-01T23:40:21Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)
• Model extraction from counterfactual explanations [68.8204255655161]
  本稿では, 敵が反実的説明によって提供された情報を利用して, 高精度かつ高精度なモデル抽出攻撃を構築する方法を示す。 我々の攻撃は、敵が相手モデルの忠実なコピーを、その偽説明にアクセスして作成することを可能にする。
  論文  参考訳（メタデータ） (2020-09-03T19:02:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。