論文の概要: Alignment Drift in CEFR-prompted LLMs for Interactive Spanish Tutoring

• arxiv url: http://arxiv.org/abs/2505.08351v1
• Date: Tue, 13 May 2025 08:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.492843
• Title: Alignment Drift in CEFR-prompted LLMs for Interactive Spanish Tutoring
• Title（参考訳）: CEFRプロンプトLDMにおけるアライメントドリフトの対話型スペイン語チュータへの応用
• Authors: Mina Almasi, Ross Deans Kristensen-McLachlan,
• Abstract要約: 本稿では,第二言語学習における適応型チューターとしてのLarge Language Models(LLMs)の可能性について検討する。 スペイン語の教師と学生の対話を,7Bから12Bまでの大きさの命令調整型オープンソースのLLMを用いてシミュレートした。 次に、チューターモデルからの出力を用いて、3つの習熟度レベルにわたるテキストの難易度を制御するCEFRベースのプロンプトの有効性を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the potentials of Large Language Models (LLMs) as adaptive tutors in the context of second-language learning. In particular, we evaluate whether system prompting can reliably constrain LLMs to generate only text appropriate to the student's competence level. We simulate full teacher-student dialogues in Spanish using instruction-tuned, open-source LLMs ranging in size from 7B to 12B parameters. Dialogues are generated by having an LLM alternate between tutor and student roles with separate chat histories. The output from the tutor model is then used to evaluate the effectiveness of CEFR-based prompting to control text difficulty across three proficiency levels (A1, B1, C1). Our findings suggest that while system prompting can be used to constrain model outputs, prompting alone is too brittle for sustained, long-term interactional contexts - a phenomenon we term alignment drift. Our results provide insights into the feasibility of LLMs for personalized, proficiency-aligned adaptive tutors and provide a scalable method for low-cost evaluation of model performance without human participants.
• Abstract（参考訳）: 本稿では,第二言語学習における適応型チューターとしてのLarge Language Models(LLMs)の可能性について検討する。 特に,システムプロンプトが,学生の能力レベルに適合するテキストのみを生成するために,LSMを確実に制約できるかどうかを評価する。 スペイン語の教師と学生の対話を,7Bから12Bまでの大きさの命令調整型オープンソースのLLMを用いてシミュレートした。 対話は、教師と学生のロールに別々のチャット履歴を持つLLMを交互に持つことによって生成される。 次に、チュータモデルからの出力を用いて、3つの習熟レベル(A1,B1,C1)にわたるテキストの難易度を制御するCEFRベースのプロンプトの有効性を評価する。 この結果から,システムプロンプトはモデル出力の制約に利用できるが,持続的,長期的相互作用の文脈では単独では脆すぎることが示唆された。 提案手法は,LLMの適応型チュータのパーソナライズと適応型チュータの実現可能性に関する知見を提供するとともに,人手なしでモデル性能を低コストに評価するためのスケーラブルな手法を提供する。

関連論文リスト

• Training LLM-based Tutors to Improve Student Learning Outcomes in Dialogues [46.60683274479208]
  本稿では,大規模言語モデル(LLM)を訓練し,学生の正当性を最大化するチューター発話を生成する手法を提案する。 モデルにより生成された教師発話が,学生の正答率を著しく高めることを示す。
  論文  参考訳（メタデータ） (2025-03-09T03:38:55Z)
• Position: LLMs Can be Good Tutors in Foreign Language Education [87.88557755407815]
  我々は、外国語教育(FLE)において、大きな言語モデル(LLM)が効果的な家庭教師として機能する可能性を主張する。 具体的には、(1)データエンハンサーとして、(2)学習教材の作成や学生シミュレーションとして、(2)タスク予測器として、学習者の評価や学習経路の最適化に、(3)エージェントとして、そして、パーソナライズされた包括的教育を可能にする3つの重要な役割を果たせる。
  論文  参考訳（メタデータ） (2025-02-08T06:48:49Z)
• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
  強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。 本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。 オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
  論文  参考訳（メタデータ） (2024-06-16T20:41:44Z)
• Thinking Fair and Slow: On the Efficacy of Structured Prompts for Debiasing Language Models [14.405446719317291]
  既存のデバイアス技術はトレーニングベースまたはモデルの内部および出力分布へのアクセスを必要とするのが一般的である。 我々は,システム2の思考プロセスを適用し,論理的,反射的,批判的テキスト生成を誘導する,包括的エンドユーザー中心のデバイアスの反復的枠組みを評価する。
  論文  参考訳（メタデータ） (2024-05-16T20:27:58Z)
• Human-AI Collaborative Essay Scoring: A Dual-Process Framework with LLMs [13.262711792955377]
  本研究では,Large Language Models (LLMs) のエッセイ自動評価における有効性について検討した。 本稿では,デュアルプロセス理論にインスパイアされたオープンソースのLLMベースのAESシステムを提案する。 本システムでは, 学習過程の自動化だけでなく, 成績や効率の向上も図っている。
  論文  参考訳（メタデータ） (2024-01-12T07:50:10Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Structural Pre-training for Dialogue Comprehension [51.215629336320305]
  本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。 対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。 広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
  論文  参考訳（メタデータ） (2021-05-23T15:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。