論文の概要: Using Large Language Models to Provide Explanatory Feedback to Human Tutors

• arxiv url: http://arxiv.org/abs/2306.15498v1
• Date: Tue, 27 Jun 2023 14:19:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 13:11:27.824938
• Title: Using Large Language Models to Provide Explanatory Feedback to Human Tutors
• Title（参考訳）: 大規模言語モデルを用いたヒューマンチュータへの説明的フィードバック
• Authors: Jionghao Lin, Danielle R. Thomas, Feifei Han, Shivang Gupta, Wei Tan, Ngoc Dang Nguyen, Kenneth R. Koedinger
• Abstract要約: オンライン授業において,教師にリアルタイムフィードバックを提供するための2つのアプローチを提案する。 このワーク・イン・プログレス(英語版)は、効果的な、あるいは努力に基づく修正フィードバックのためのバイナリ分類においてかなりの精度を示す。 より具体的には、大言語モデルに精通した名前付きエンティティ認識を用いた説明的フィードバックを提供するための拡張されたアプローチについて紹介する。
• 参考スコア（独自算出の注目度）: 3.2507682694499582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research demonstrates learners engaging in the process of producing explanations to support their reasoning, can have a positive impact on learning. However, providing learners real-time explanatory feedback often presents challenges related to classification accuracy, particularly in domain-specific environments, containing situationally complex and nuanced responses. We present two approaches for supplying tutors real-time feedback within an online lesson on how to give students effective praise. This work-in-progress demonstrates considerable accuracy in binary classification for corrective feedback of effective, or effort-based (F1 score = 0.811), and ineffective, or outcome-based (F1 score = 0.350), praise responses. More notably, we introduce progress towards an enhanced approach of providing explanatory feedback using large language model-facilitated named entity recognition, which can provide tutors feedback, not only while engaging in lessons, but can potentially suggest real-time tutor moves. Future work involves leveraging large language models for data augmentation to improve accuracy, while also developing an explanatory feedback interface.
• Abstract（参考訳）: 研究は、推論を支持する説明を作成するプロセスに携わる学習者が、学習にポジティブな影響を与えることを実証する。 しかし,学習者にリアルタイムな説明的フィードバックを提供することは,特にドメイン固有の環境において,状況に複雑でニュアンスのある応答を含む分類精度に関する課題をしばしば提示する。 オンライン授業において,教師にリアルタイムフィードバックを提供するための2つのアプローチを提案する。 このワーク・イン・プログレスでは、効果的(F1スコア=0.811)と非効率(F1スコア=0.350)の2進的フィードバックのための二進的分類においてかなりの精度を示す。 さらに、大規模言語モデルに精通した名前付きエンティティ認識を用いて説明的フィードバックを提供することにより、授業中だけでなく、リアルタイムのチューターの動きも提案できる。 将来の作業は、データ拡張のために大規模な言語モデルを活用することで精度を向上させると同時に、説明的なフィードバックインターフェイスも開発する。

関連論文リスト

• How Can I Improve? Using GPT to Highlight the Desired and Undesired Parts of Open-ended Responses [11.809647985607935]
  提案手法は,説明的フィードバックを提供する上で,望ましい,望ましくないコンポーネントを識別することに焦点を当てたシーケンスラベリング手法を提案する。 GPTモデルにより同定された強調された賞賛成分の品質を定量化するため,M-IoU(Modified Intersection over Union)スコアを導入した。 以上の結果から,(1)M-IoUスコアはシーケンス品質評価における人的判断と効果的に相関し,(2)GPT-3.5上での2ショットプロンプトは,努力に基づく評価と成果に基づく評価の認識において良好な性能を示し,(3)M-IoUスコアの0.6が最適微調整GPT-3.5モデルであった。
  論文  参考訳（メタデータ） (2024-05-01T02:59:10Z)
• Automated Assessment of Encouragement and Warmth in Classrooms Leveraging Multimodal Emotional Features and ChatGPT [7.273857543125784]
  本研究は,教室における暖かさと励ましを自動的に推定するマルチモーダルアプローチである。 映像,音声,転写データから解釈可能な特徴を抽出するために,感情分析を用いた顔と音声の感情認識を用いた。 92の授業記録から367の16分間のビデオセグメントを含むGTIデータセットに対するアプローチを実証した。
  論文  参考訳（メタデータ） (2024-04-01T16:58:09Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [50.067342343957876]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• Metacognition-Enhanced Few-Shot Prompting With Positive Reinforcement [17.120733859844076]
  本稿では, メタ認知に富む新規な数発プロンプトを提案し, 思考過程を反映する大規模言語モデルを提案する。 メタ認知を増強した数発のショットに肯定的な強化を導入し,大規模言語モデルの数発学習を促進する。
  論文  参考訳（メタデータ） (2023-12-14T03:49:52Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework [51.237191651923666]
  訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。 設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。 シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-01-23T17:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。