論文の概要: \textsc{SimInstruct}: A Responsible Tool for Collecting Scaffolding Dialogues Between Experts and LLM-Simulated Novices
- arxiv url: http://arxiv.org/abs/2508.04428v1
- Date: Wed, 06 Aug 2025 13:16:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.733401
- Title: \textsc{SimInstruct}: A Responsible Tool for Collecting Scaffolding Dialogues Between Experts and LLM-Simulated Novices
- Title（参考訳）: \textsc{SimInstruct}: エキスパートとLLMを模擬した初心者の会話を収集する責任あるツール
- Authors: Si Chen, Izzy Molnar, Ting Hua, Peiyu Li, Le Huy Khiem, G. Alex Ambrose, Jim Lang, Ronald Metoyer, Nitesh V. Chawla,
- Abstract要約: SimInstructは、スキャフォールディングダイアログを収集するための、スケーラブルで専門的なループツールである。
SimInstructは、開発コーチングをサンプルドメインとして使用し、LLMを通して初心者インストラクターをシミュレートする。
その結果,外向性や内向性といったペルソナの特徴が,専門家の関わり方に有意な影響を及ぼすことが明らかとなった。
- 参考スコア（独自算出の注目度）: 21.67295740032255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-quality, multi-turn instructional dialogues between novices and experts are essential for developing AI systems that support teaching, learning, and decision-making. These dialogues often involve scaffolding -- the process by which an expert supports a novice's thinking through questions, feedback, and step-by-step guidance. However, such data are scarce due to privacy concerns in recording and the vulnerability inherent in help-seeking. We present SimInstruct, a scalable, expert-in-the-loop tool for collecting scaffolding dialogues. Using teaching development coaching as an example domain, SimInstruct simulates novice instructors via LLMs, varying their teaching challenges and LLM's persona traits, while human experts provide multi-turn feedback, reasoning, and instructional support. This design enables the creation of realistic, pedagogically rich dialogues without requiring real novice participants. Our results reveal that persona traits, such as extroversion and introversion, meaningfully influence how experts engage. Compared to real mentoring recordings, SimInstruct dialogues demonstrate comparable pedagogical relevance and cognitive depth. Experts also reported the process as engaging and reflective, improving both data quality and their own professional insight. We further fine-tuned a LLaMA model to be an expert model using the augmented dataset, which outperformed GPT-4o in instructional quality. Our analysis highlights GPT-4o's limitations in weak reflective questioning, overuse of generic praise, a condescending tone, and a tendency to overwhelm novices with excessive suggestions.
- Abstract（参考訳）: 教師、学習、意思決定をサポートするAIシステムの開発には、初心者と専門家の間の高品質で多ターンの教育対話が不可欠である。
専門家が質問、フィードバック、ステップバイステップのガイダンスを通じて初心者の思考をサポートするプロセスである。
しかし、これらのデータは、記録におけるプライバシー上の懸念と、ヘルプ検索に固有の脆弱性のために不足している。
シムインストラクタ(SimInstruct)は,スキャフォールディングダイアログを収集するための,スケーラブルで専門的なループツールである。
SimInstructは、開発コーチングを例題として、LLMを通して初心者のインストラクターをシミュレートし、教育課題やLLMのペルソナ特性を変化させる一方、人間の専門家はマルチターンフィードバック、推論、指導支援を提供する。
このデザインは、本当の初心者の参加者を必要とせずに、現実的で教育的なリッチな対話を作ることを可能にします。
その結果,外向性や内向性といったペルソナの特徴が,専門家の関わり方に有意な影響を及ぼすことが明らかとなった。
実際の指導記録と比較すると、シムインストラクトの対話は教育的関連性と認知的深度に匹敵するものである。
専門家は、このプロセスは、データ品質と自身の専門的な洞察の両方を改善し、エンゲージメントとリフレクティブであると報告した。
さらに,拡張データセットを用いた専門家モデルであるLLaMAモデルを微調整し,GPT-4oの教育的品質を向上した。
本分析では, GPT-4o の弱反射的質問に対する限界, 一般的な賞賛の過剰使用, 軽快な声調, 過剰な提案で初心者を圧倒する傾向が強調された。
関連論文リスト
- Automated Feedback on Student-Generated UML and ER Diagrams Using Large Language Models [39.58317527488534]
LLMツールのプロトタイプであるDUET(Diamatic & ER Tutor)を紹介する。
参照ダイアグラムと学生が提出したダイアグラムをテキスト表現に変換し、違いに基づいて構造化されたフィードバックを提供する。
多段階のLCMパイプラインを使用して図を比較し、反射フィードバックを生成する。
自己指導型学習を奨励し、指導戦略を伝えることを目的として、教育者の分析的な洞察を可能にする。
論文 参考訳（メタデータ） (2025-07-31T11:49:01Z) - Towards Actionable Pedagogical Feedback: A Multi-Perspective Analysis of Mathematics Teaching and Tutoring Dialogue [6.13173513227026]
本稿では,対話行動とドメイン固有の会話動作を統合した多視点談話分析を提案する。
私たちのフレームワークは、人間の教育者からのフィードバックを提供するのに役立ちますが、AIエージェントの開発にも役立ちます。
論文 参考訳（メタデータ） (2025-05-12T00:48:17Z) - MathTutorBench: A Benchmark for Measuring Open-ended Pedagogical Capabilities of LLM Tutors [76.1634959528817]
我々は、総合的なチューリングモデル評価のためのオープンソースのベンチマークであるMathTutorBenchを紹介する。
MathTutorBenchには、ダイアログベースの教育における科学の研究によって定義された、家庭教師の能力をカバーするデータセットとメトリクスが含まれている。
閉鎖的およびオープンウェイトなモデルの幅広いセットを評価し、問題解決能力によって示される課題の専門知識が、すぐには良い教育に変換されないことを発見した。
論文 参考訳（メタデータ） (2025-02-26T08:43:47Z) - Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。
我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。
我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
論文 参考訳（メタデータ） (2024-09-24T22:31:39Z) - Inductive-Deductive Strategy Reuse for Multi-Turn Instructional Dialogues [15.959842501166511]
本稿では,ユーザシミュレータが多様かつ詳細な命令を提示するのを支援するために,複雑なルールを明示的に捉えることを提案する。
実験結果から,本手法は多種多様かつ詳細な命令を生成可能であることが示された。
論文 参考訳（メタデータ） (2024-04-17T06:26:32Z) - Scaffolding Language Learning via Multi-modal Tutoring Systems with Pedagogical Instructions [34.760230622675365]
知的家庭教師システム(ITS)は、人間の家庭教師を模倣し、学習者にカスタマイズされた指導やフィードバックを提供することを目的としている。
生成人工知能の出現に伴い、大規模言語モデル(LLM)は、複雑な会話の相互作用をシステムに付与する。
教育指導がITSの足場形成をいかに促進するかを,子どもに言語学習のための画像記述を指導するケーススタディにより検討した。
論文 参考訳（メタデータ） (2024-04-04T13:22:28Z) - KIWI: A Dataset of Knowledge-Intensive Writing Instructions for
Answering Research Questions [63.307317584926146]
ユーザ命令に従うように適応された大規模言語モデル(LLM)は、現在では会話エージェントとして広くデプロイされている。
そこで本研究では,より一般的な命令追従タスクとして,長文の回答作成を支援することを提案する。
我々は、科学領域における知識集約的な記述命令のデータセットKIWIを構築した。
論文 参考訳（メタデータ） (2024-03-06T17:16:44Z) - YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。
モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。
実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
論文 参考訳（メタデータ） (2024-01-28T14:32:15Z) - Ask an Expert: Leveraging Language Models to Improve Strategic Reasoning
in Goal-Oriented Dialogue Models [15.476899850339395]
モデルに各ターンで相談可能な"エキスパート"へのアクセスをトレーニングする"エキスパートを尋ねる"フレームワークを提案する。
アドバイスは専門家との構造化された対話を通じて提供され、コンテキストと対話履歴が与えられた場合、モデルを選択的に利用(または無視)するために最適化される。
この枠組みを、専門家の会話の構造を、現場の実践者に教えられた推論戦略を反映した事前に特定されたプロンプトによって概説する精神保健支援領域において評価する。
論文 参考訳（メタデータ） (2023-05-29T04:19:35Z) - Opportunities and Challenges in Neural Dialog Tutoring [54.07241332881601]
言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。
現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。
人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
論文 参考訳（メタデータ） (2023-01-24T11:00:17Z) - Structural Pre-training for Dialogue Comprehension [51.215629336320305]
本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。
対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。
広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
論文 参考訳（メタデータ） (2021-05-23T15:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。