論文の概要: Explainable Active Learning (XAL): An Empirical Study of How Local
Explanations Impact Annotator Experience
- arxiv url: http://arxiv.org/abs/2001.09219v4
- Date: Wed, 30 Sep 2020 12:43:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 05:08:40.080154
- Title: Explainable Active Learning (XAL): An Empirical Study of How Local
Explanations Impact Annotator Experience
- Title（参考訳）: 説明可能なアクティブラーニング(XAL):局所的説明がアノテーション体験に与える影響に関する実証的研究
- Authors: Bhavya Ghai, Q. Vera Liao, Yunfeng Zhang, Rachel Bellamy, Klaus
Mueller
- Abstract要約: 本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。
本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
- 参考スコア（独自算出の注目度）: 76.9910678786031
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The wide adoption of Machine Learning technologies has created a rapidly
growing demand for people who can train ML models. Some advocated the term
"machine teacher" to refer to the role of people who inject domain knowledge
into ML models. One promising learning paradigm is Active Learning (AL), by
which the model intelligently selects instances to query the machine teacher
for labels. However, in current AL settings, the human-AI interface remains
minimal and opaque. We begin considering AI explanations as a core element of
the human-AI interface for teaching machines. When a human student learns, it
is a common pattern to present one's own reasoning and solicit feedback from
the teacher. When a ML model learns and still makes mistakes, the human teacher
should be able to understand the reasoning underlying the mistakes. When the
model matures, the machine teacher should be able to recognize its progress in
order to trust and feel confident about their teaching outcome. Toward this
vision, we propose a novel paradigm of explainable active learning (XAL), by
introducing techniques from the recently surging field of explainable AI (XAI)
into an AL setting. We conducted an empirical study comparing the model
learning outcomes, feedback content and experience with XAL, to that of
traditional AL and coactive learning (providing the model's prediction without
the explanation). Our study shows benefits of AI explanation as interfaces for
machine teaching--supporting trust calibration and enabling rich forms of
teaching feedback, and potential drawbacks--anchoring effect with the model
judgment and cognitive workload. Our study also reveals important individual
factors that mediate a machine teacher's reception to AI explanations,
including task knowledge, AI experience and need for cognition. By reflecting
on the results, we suggest future directions and design implications for XAL.
- Abstract（参考訳）: 機械学習技術の普及により、MLモデルをトレーニングできる人々への需要が急速に増加した。
mlモデルにドメイン知識を注入する人々の役割を「機械教師」と呼ぶことを提唱した者もいる。
1つの有望な学習パラダイムはアクティブラーニング(AL)であり、モデルがインテリジェントにインスタンスを選択し、機械教師にラベルを問い合わせる。
しかし、現在のAL設定では、人間-AIインターフェースは最小限で不透明である。
我々は、機械を教えるためのヒューマンAIインターフェースの中核要素としてAIの説明を考える。
人間の生徒が学ぶと、自分自身の推論と教師からのフィードバックを提示することが一般的なパターンとなる。
MLモデルが学習し、まだ間違いを犯すとき、人間の教師は、失敗の根底にある理由を理解できなければならない。
モデルが成熟すると、機械教師は、学習成果を信頼し、自信を持てるように、その進捗を認識できなければならない。
このビジョンに向けて,近年急増している説明可能なAI(XAI)のテクニックをAL設定に導入することにより,説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。
我々は、モデル学習の結果、フィードバック内容、XALによる経験を従来のALと協調学習(説明なしにモデルの予測を提供する)と比較した実証的研究を行った。
本研究は, 機械教育におけるインターフェースとしてのai説明の利点, 信頼度校正の支援, リッチな教育フィードバックの活用, 潜在的な欠点, モデル判断と認知的作業負荷の短縮効果を示す。
また、タスク知識、AI経験、認知の必要性などを含む、AI説明に対する教師の反応を仲介する重要な個々の要因も明らかにした。
その結果を反映して,XALの今後の方向性と設計上の意義を提案する。
関連論文リスト
- Democratizing Reasoning Ability: Tailored Learning from Large Language
Model [97.4921006089966]
そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。
対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。
より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
論文 参考訳（メタデータ） (2023-10-20T07:50:10Z) - Learning by Self-Explaining [23.420673675343266]
我々は、自己説明による学習(LSX)と呼ばれる画像分類の文脈において、新しいワークフローを導入する。
LSXは、自己修復型AIと人間誘導型説明機械学習の側面を利用する。
本結果は,自己説明による学習による改善を,いくつかのレベルで示すものである。
論文 参考訳（メタデータ） (2023-09-15T13:41:57Z) - Responsibility: An Example-based Explainable AI approach via Training
Process Inspection [1.4610038284393165]
我々は、特定の決定に対して最も責任あるトレーニング例を特定する新しいXAIアプローチを提案する。
この例は、"これが私が(AI)学んだことであり、それが私をそのようにしました"、という説明として示されます。
以上の結果から,ヒューマンエンドユーザとセカンダリMLモデルの両方において,責任が精度の向上に有効であることが示唆された。
論文 参考訳（メタデータ） (2022-09-07T19:30:01Z) - Learning to Scaffold: Optimizing Model Explanations for Teaching [74.25464914078826]
我々は3つの自然言語処理とコンピュータビジョンタスクのモデルを訓練する。
筆者らは,本フレームワークで抽出した説明文を学習した学生が,従来の手法よりもはるかに効果的に教師をシミュレートできることを発見した。
論文 参考訳（メタデータ） (2022-04-22T16:43:39Z) - Iterative Teacher-Aware Learning [136.05341445369265]
人間の教育において、教師と学生はコミュニケーション効率を最大化するために適応的に交流することができる。
本稿では,教師の協調意図を可能性関数に組み込むことができる,勾配最適化に基づく教師認識学習者を提案する。
論文 参考訳（メタデータ） (2021-10-01T00:27:47Z) - Teaching the Machine to Explain Itself using Domain Knowledge [4.462334751640166]
非技術的人間-ループは、モデル予測の背後にある理論的根拠を理解するのに苦労する。
本稿では、意思決定タスクと関連する説明を共同で学習するニューラルネットワークベースのフレームワークJOELを提案する。
認定された専門家のプールからドメインフィードバックを収集し、それをモデル(人間の教え)を改善するために利用します。
論文 参考訳（メタデータ） (2020-11-27T18:46:34Z) - Explainability via Responsibility [0.9645196221785693]
本稿では,特定のトレーニングインスタンスをユーザに提供する,説明可能な人工知能へのアプローチを提案する。
我々は、AIエージェントの動作の説明を人間のユーザに提供する能力を近似することで、このアプローチを評価する。
論文 参考訳（メタデータ） (2020-10-04T20:41:03Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳（メタデータ） (2020-08-15T10:11:42Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z) - Deceptive AI Explanations: Creation and Detection [3.197020142231916]
我々は、AIモデルを用いて、偽りの説明を作成し、検出する方法について検討する。
実験的な評価として,GradCAMによるテキスト分類と説明の変更に着目した。
被験者200名を対象に, 偽装説明がユーザに与える影響について検討した。
論文 参考訳（メタデータ） (2020-01-21T16:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。