論文の概要: Assessing the efficacy of large language models in generating accurate teacher responses

• arxiv url: http://arxiv.org/abs/2307.04274v1
• Date: Sun, 9 Jul 2023 22:32:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 14:28:49.528398
• Title: Assessing the efficacy of large language models in generating accurate teacher responses
• Title（参考訳）: 教師の正確な反応生成における大規模言語モデルの有効性評価
• Authors: Yann Hicke, Abhishek Masand, Wentao Guo, Tushaar Gangavarapu
• Abstract要約: 本研究は,学生に情報的かつ有用な洞察を提供するために,大規模言語モデルの生成能力を評価することを目的とする。 GPT-4 (few-shot, in-context learning), fine-tuned GPT-2, fine-tuned DialoGPT。 教師・学生チャットルームにおける実験結果から, BERTScore と DialogRPT を用いて測定した他の微調整モデルに対する GPT-4 の有効性が示唆された。
• 参考スコア（独自算出の注目度）: 0.5774786149181391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: (Tack et al., 2023) organized the shared task hosted by the 18th Workshop on Innovative Use of NLP for Building Educational Applications on generation of teacher language in educational dialogues. Following the structure of the shared task, in this study, we attempt to assess the generative abilities of large language models in providing informative and helpful insights to students, thereby simulating the role of a knowledgeable teacher. To this end, we present an extensive evaluation of several benchmarking generative models, including GPT-4 (few-shot, in-context learning), fine-tuned GPT-2, and fine-tuned DialoGPT. Additionally, to optimize for pedagogical quality, we fine-tuned the Flan-T5 model using reinforcement learning. Our experimental findings on the Teacher-Student Chatroom Corpus subset indicate the efficacy of GPT-4 over other fine-tuned models, measured using BERTScore and DialogRPT. We hypothesize that several dataset characteristics, including sampling, representativeness, and dialog completeness, pose significant challenges to fine-tuning, thus contributing to the poor generalizability of the fine-tuned models. Finally, we note the need for these generative models to be evaluated with a metric that relies not only on dialog coherence and matched language modeling distribution but also on the model's ability to showcase pedagogical skills.
• Abstract（参考訳）: (Tack et al., 2023)は、教育対話における教師語の生成に関する教育アプリケーション構築のためのNLPの革新的利用に関する第18回ワークショップの主催する共有タスクを組織した。 本研究は,共用課題の構造に従って,学生に情報的かつ有益な洞察を提供することによって,大規模言語モデルの生成能力を評価し,知識のある教師の役割をシミュレートする。 そこで本研究では,GPT-4 (few-shot, in-context learning), fine-tuned GPT-2, fine-tuned DialoGPTなどのベンチマーク生成モデルの広範な評価を行う。 さらに,教育的品質を最適化するために,強化学習を用いたflan-t5モデルの微調整を行った。 教師-学生チャットルームコーパスのサブセットについて,BERTScore と DialogRPT を用いて測定し,他の微調整モデルに対する GPT-4 の有効性を示した。 我々は、サンプリング、代表性、ダイアログ完全性など、いくつかのデータセット特性が微調整に重大な課題をもたらし、微調整モデルの一般化性に悪影響を及ぼすと仮定する。 最後に,これらの生成モデルに対して,対話コヒーレンスやマッチング言語モデル分布だけでなく,教育的スキルを提示するモデルの能力にも依存するメトリクスを用いた評価の必要性を指摘する。

関連論文リスト

• Interactive DualChecker for Mitigating Hallucinations in Distilling Large Language Models [7.632217365130212]
  大規模言語モデル(LLM)は、さまざまな機械学習(ML)タスクにまたがる例外的な機能を示している。 これらのモデルは、特に不完全な知識を持つ領域において幻覚を生み出すことができる。 幻覚を緩和し,教師モデルと学生モデルの両方のパフォーマンスを向上させるために設計された,革新的なフレームワークであるDualCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-08-22T12:04:04Z)
• Putting GPT-4o to the Sword: A Comprehensive Evaluation of Language, Vision, Speech, and Multimodal Proficiency [3.161954199291541]
  本研究は, GPT-4oの言語, 視覚, 音声, マルチモーダル能力を包括的に評価する。 GPT-4oは、言語と推論能力において、複数のドメインにわたる高い精度と効率を示す。 モデルは可変性を示し、複雑であいまいな入力を扱う際の制限に直面している。
  論文  参考訳（メタデータ） (2024-06-19T19:00:21Z)
• Toward In-Context Teaching: Adapting Examples to Students' Misconceptions [54.82965010592045]
  本稿ではAdapTと呼ばれる一連のモデルと評価手法を紹介する。 AToMは、学生の過去の信念を共同で推論し、将来の信念の正しさを最適化する適応教育の新しい確率論的モデルである。 本研究は,適応型学習課題の難しさと,それを解決するための学習適応モデルの可能性を両立させるものである。
  論文  参考訳（メタデータ） (2024-05-07T17:05:27Z)
• Information-Theoretic Distillation for Reference-less Summarization [67.51150817011617]
  本稿では,要約のための情報理論的目的に基づいて,強力な要約器を蒸留する新しい枠組みを提案する。 我々は,教師モデルとしてPythia-2.8Bから出発する。 我々は,ChatGPTと競合する5億8800万のパラメータしか持たないコンパクトだが強力な要約器に到達した。
  論文  参考訳（メタデータ） (2024-03-20T17:42:08Z)
• Baichuan2-Sum: Instruction Finetune Baichuan2-7B Model for Dialogue Summarization [12.45299260235282]
  本稿では,役割指向のダイアグルージュ要約のための命令微調整モデルBaichuan2-Sumを提案する。 異なる役割に対して異なる命令を設定することで、モデルは対話相互作用から学び、期待される要約を出力することができる。 実験により、提案モデルが2つの公開対話要約データセット上で、最先端の新たな結果を達成することを示す。
  論文  参考訳（メタデータ） (2024-01-27T20:20:39Z)
• Exploring the Trade-Offs: Unified Large Language Models vs Local Fine-Tuned Models for Highly-Specific Radiology NLI Task [49.50140712943701]
  NLIタスクにおけるChatGPT/GPT-4の性能評価を行い、タスク関連データサンプルに特化して微調整された他のモデルと比較する。 また,ChatGPT/GPT-4の推論能力について,様々な推論難易度を導入して総合的な調査を行った。
  論文  参考訳（メタデータ） (2023-04-18T17:21:48Z)
• Opportunities and Challenges in Neural Dialog Tutoring [54.07241332881601]
  言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。 現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。 人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
  論文  参考訳（メタデータ） (2023-01-24T11:00:17Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• A Comparative Study on Language Models for Task-Oriented Dialogue Systems [14.634286037008017]
  タスク指向対話(ToD)システムでは、言語モデルを使ってエンドツーエンドのトレーニングを行うことができる。 BARTとT5は、BLEUとF1でGPTベースのモデルより優れ、ToDシステムで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-01-21T13:24:25Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。