論文の概要: From Explanations to Action: A Zero-Shot, Theory-Driven LLM Framework for Student Performance Feedback

• arxiv url: http://arxiv.org/abs/2409.08027v1
• Date: Thu, 12 Sep 2024 13:18:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 16:29:19.314692
• Title: From Explanations to Action: A Zero-Shot, Theory-Driven LLM Framework for Student Performance Feedback
• Title（参考訳）: 説明から行動へ:学生のパフォーマンスフィードバックのためのゼロショット理論駆動型LLMフレームワーク
• Authors: Vinitra Swamy, Davide Romano, Bhargav Srinivasa Desikan, Oana-Maria Camburu, Tanja Käser,
• Abstract要約: iLLuMinaTEはミラーの認知的説明モデルにインスパイアされたゼロショット・チェーン・オブ・プロンプトのLLM-XAIパイプラインである。 我々は3つのLLMから抽出したiLLuMinateの自然言語説明を,21,915件にわたって広範囲に評価した。 従来の説明書の89.52%よりもiLLuMinateの説明の方が学生の方が好まれていることがわかった。
• 参考スコア（独自算出の注目度）: 10.724248662819116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in eXplainable AI (XAI) for education have highlighted a critical challenge: ensuring that explanations for state-of-the-art AI models are understandable for non-technical users such as educators and students. In response, we introduce iLLuMinaTE, a zero-shot, chain-of-prompts LLM-XAI pipeline inspired by Miller's cognitive model of explanation. iLLuMinaTE is designed to deliver theory-driven, actionable feedback to students in online courses. iLLuMinaTE navigates three main stages - causal connection, explanation selection, and explanation presentation - with variations drawing from eight social science theories (e.g. Abnormal Conditions, Pearl's Model of Explanation, Necessity and Robustness Selection, Contrastive Explanation). We extensively evaluate 21,915 natural language explanations of iLLuMinaTE extracted from three LLMs (GPT-4o, Gemma2-9B, Llama3-70B), with three different underlying XAI methods (LIME, Counterfactuals, MC-LIME), across students from three diverse online courses. Our evaluation involves analyses of explanation alignment to the social science theory, understandability of the explanation, and a real-world user preference study with 114 university students containing a novel actionability simulation. We find that students prefer iLLuMinaTE explanations over traditional explainers 89.52% of the time. Our work provides a robust, ready-to-use framework for effectively communicating hybrid XAI-driven insights in education, with significant generalization potential for other human-centric fields.
• Abstract（参考訳）: 教育におけるeXplainable AI(XAI)の最近の進歩は、最先端のAIモデルの説明が、教育者や学生のような非技術ユーザにとって理解可能であることを保証するという、重要な課題を浮き彫りにした。 その結果,Millerの認知モデルにインスパイアされた,ゼロショット・チェーン・オブ・プロンプトのLLM-XAIパイプラインであるiLLuMinaTEを紹介した。 iLLuMinaTEは、オンラインコースの学生に理論駆動で行動可能なフィードバックを提供するように設計されている。 iLLuMinaTEは、因果関係、説明選択、説明提示の3つの主要なステージをナビゲートし、8つの社会科学理論(例:異常条件、パールの説明モデル、必要条件、ロバスト性選択、対照的説明)から派生している。 我々は3つのLLM(GPT-4o, Gemma2-9B, Llama3-70B)から抽出したiLLuMinateの自然言語説明を,3つの異なるXAI手法(LIME, Counterfactuals, MC-LIME)を用いて広範囲に評価した。 本評価では,新しい行動可能性シミュレーションを含む114人の大学生を対象に,社会科学理論における説明の整合性,説明の理解可能性,および実世界のユーザ嗜好調査について検討した。 従来の説明書の89.52%よりもiLLuMinateの説明の方が学生の方が好まれていることがわかった。 我々の研究は、教育におけるハイブリッドXAI駆動の洞察を効果的に伝達するための、堅牢で使いやすいフレームワークを提供し、他の人間中心の分野にも大きな一般化の可能性を秘めている。

関連論文リスト

• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• S3C: Semi-Supervised VQA Natural Language Explanation via Self-Critical Learning [46.787034512390434]
  VQA自然言語説明(VQA-NLE)タスクは、自然言語におけるVQAモデルの意思決定プロセスを説明することを目的としている。 自己批判学習(S3C)による半教師付きVQA-NLEを提案する。 S3Cは、報酬に答えることで、解答と合理性の間の論理的整合性を改善することによって、候補説明を評価する。
  論文  参考訳（メタデータ） (2023-09-05T11:47:51Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• CoRTX: Contrastive Framework for Real-time Explanation [39.80484758207907]
  説明指向表現を学習するために,Contrastive Real-Time eXplanation (CoRTX) フレームワークを提案する。 具体的には、説明の学習において、肯定的および否定的な事例を選択するための合成戦略を設計する。
  論文  参考訳（メタデータ） (2023-03-05T23:01:02Z)
• Complementary Explanations for Effective In-Context Learning [77.83124315634386]
  大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。 この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2022-11-25T04:40:47Z)
• Explanations from Large Language Models Make Small Reasoners Better [61.991772773700006]
  提案手法は, 異なる設定において, 微調整ベースラインを連続的に, 著しく向上させることができることを示す。 副次的な利点として、人間の評価は、その予測を正当化するために高品質な説明を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:50:02Z)
• Learning to Scaffold: Optimizing Model Explanations for Teaching [74.25464914078826]
  我々は3つの自然言語処理とコンピュータビジョンタスクのモデルを訓練する。 筆者らは,本フレームワークで抽出した説明文を学習した学生が,従来の手法よりもはるかに効果的に教師をシミュレートできることを発見した。
  論文  参考訳（メタデータ） (2022-04-22T16:43:39Z)
• From Philosophy to Interfaces: an Explanatory Method and a Tool Inspired by Achinstein's Theory of Explanation [3.04585143845864]
  人工知能(AI)における新しい説明法を提案する。 我々は、AIアルゴリズムのパイプラインに基づいた対話型説明を生成するための新しいアプローチを示す。 我々はIBMによるよく知られたXAIによる信用承認システムで仮説を検証した。
  論文  参考訳（メタデータ） (2021-09-09T11:10:03Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。