論文の概要: Reflecting in the Reflection: Integrating a Socratic Questioning Framework into Automated AI-Based Question Generation

• arxiv url: http://arxiv.org/abs/2601.14798v1
• Date: Wed, 21 Jan 2026 09:23:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.311991
• Title: Reflecting in the Reflection: Integrating a Socratic Questioning Framework into Automated AI-Based Question Generation
• Title（参考訳）: リフレクションにおけるリフレクション: ソクラテス質問フレームワークをAIベースの自動質問生成に統合する
• Authors: Ondřej Holub, Essi Ryymin, Rodrigo Alves,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を用いたリフレクション質問の自動生成のためのリフレクション・イン・リフレクション・フレームワークを提案する。 本稿では,教師と教師の2つの役割特化エージェントをコーディネートし,ソクラテス的多ターン対話を行い,一つの質問を反復的に洗練する手法を提案する。 我々の2エージェントプロトコルは、ワンショットベースラインよりもはるかに関連性があり、より深く、より総合的に判断される質問を生成する。
• 参考スコア（独自算出の注目度）: 10.05797775116765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing good reflection questions is pedagogically important but time-consuming and unevenly supported across teachers. This paper introduces a reflection-in-reflection framework for automated generation of reflection questions with large language models (LLMs). Our approach coordinates two role-specialized agents, a Student-Teacher and a Teacher-Educator, that engage in a Socratic multi-turn dialogue to iteratively refine a single question given a teacher-specified topic, key concepts, student level, and optional instructional materials. The Student-Teacher proposes candidate questions with brief rationales, while the Teacher-Educator evaluates them along clarity, depth, relevance, engagement, and conceptual interconnections, responding only with targeted coaching questions or a fixed signal to stop the dialogue. We evaluate the framework in an authentic lower-secondary ICT setting on the topic, using GPT-4o-mini as the backbone model and a stronger GPT- 4-class LLM as an external evaluator in pairwise comparisons of clarity, relevance, depth, and overall quality. First, we study how interaction design and context (dynamic vs.fixed iteration counts; presence or absence of student level and materials) affect question quality. Dynamic stopping combined with contextual information consistently outperforms fixed 5- or 10-step refinement, with very long dialogues prone to drift or over-complication. Second, we show that our two-agent protocol produces questions that are judged substantially more relevant and deeper, and better overall, than a one-shot baseline using the same backbone model.
• Abstract（参考訳）: 優れたリフレクションの質問を設計することは、教育的に重要であるが、時間がかかり、教師間で不均一にサポートされている。 本稿では,大規模な言語モデル(LLM)を用いたリフレクション質問の自動生成のためのリフレクション・イン・リフレクション・フレームワークを提案する。 本手法は,教師が特定した話題,鍵概念,学生レベル,オプションの教材を与えられた1つの質問を反復的に洗練するために,ソクラティック・マルチターン対話を行う2つの役割特化エージェント,学生-教師と教師-教育者をコーディネートする。 学生-教師は、簡単な合理性を持った候補者の質問を提案し、教師-教育者は、標的となるコーチングの質問や、対話を止めるための固定された信号にのみ反応して、明確さ、深さ、妥当性、エンゲージメント、概念的な相互関係について評価する。 GPT-4o-mini をバックボーンモデルとし,GPT-4-class LLM を外的評価器として,明瞭度,妥当性,深さ,全体的な品質の両面比較を行った。 まず,インタラクション設計とコンテキスト(動的対固定反復数,学生レベルと教材の有無)が質問品質に与える影響について検討する。 動的停止と文脈情報の組み合わせは、固定された5段階または10段階の洗練を常に上回り、非常に長い対話はドリフトやオーバー・コンプリケーションの傾向にある。 第2に、我々の2エージェントプロトコルは、同じバックボーンモデルを用いたワンショットベースラインよりも、かなり関連性があり、より深く、より総合的に判断される質問を生成することを示す。

関連論文リスト

• EduDial: Constructing a Large-scale Multi-turn Teacher-Student Dialogue Corpus [59.693733170193944]
  EduDialは総合的な多ターン教師/学生対話データセットである。 EduDialは345のコアナレッジポイントをカバーし、教師と学生エージェントの対話によって生成された34,250の対話セッションで構成されている。
  論文  参考訳（メタデータ） (2025-10-14T18:18:43Z)
• How Real Is AI Tutoring? Comparing Simulated and Human Dialogues in One-on-One Instruction [6.649393350057383]
  本研究は,AIを模擬した人体学習対話における構造的・行動的差異を系統的に検討する。 その結果,人間の対話は発話長においてAIよりもはるかに優れており,質問行動(I-Q)や一般フィードバック行動(F-F)にも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-09-02T03:18:39Z)
• Automatic Question & Answer Generation Using Generative Large Language Model (LLM) [0.0]
  本研究では,NLPにおける教師なし学習手法の活用を提案する。 カスタマイズされたモデルは、教育者、インストラクター、テキストベースの評価に従事する個人に対して効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-08-26T23:36:13Z)
• \textsc{SimInstruct}: A Responsible Tool for Collecting Scaffolding Dialogues Between Experts and LLM-Simulated Novices [21.67295740032255]
  SimInstructは、スキャフォールディングダイアログを収集するための、スケーラブルで専門的なループツールである。 SimInstructは、開発コーチングをサンプルドメインとして使用し、LLMを通して初心者インストラクターをシミュレートする。 その結果,外向性や内向性といったペルソナの特徴が,専門家の関わり方に有意な影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2025-08-06T13:16:10Z)
• "Did my figure do justice to the answer?" : Towards Multimodal Short Answer Grading with Feedback (MMSAF) [41.09752906121257]
  本稿では、フィードバック(MMSAF)問題と2,197個のデータポイントを併用したマルチモーダルショートアンサーグレーディングを提案する。 評価の結果,既存のMLLM(Multimodal Large Language Models)では,解答が正解か正解かを55%の精度で予測することができた。 同様に、学生の回答に提供される画像が75%の精度で関連しているか否かを予測することができる。
  論文  参考訳（メタデータ） (2024-12-27T17:33:39Z)
• "My Grade is Wrong!": A Contestable AI Framework for Interactive Feedback in Evaluating Student Essays [6.810086342993699]
  本稿では,対話型フィードバックを自動生成するContestable AI Empowered LLM FrameworkであるCAELFを紹介する。 CAELFは、マルチエージェントシステムと計算的議論を統合することで、学生がフィードバックをクエリし、挑戦し、明確化することができる。 ユーザスタディを用いた500の批判的思考エッセイのケーススタディでは,CAELFが対話的フィードバックを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-09-11T17:59:01Z)
• Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning [43.83422798569986]
  マルチチョイス質問(MCQ)は、管理しやすく、格付けし、信頼性の高い評価形式であるため、ほぼ全てのレベルの教育においてユビキタスである。 これまで、高品質なイントラクタを作るというタスクは、教師やコンテンツデザイナーを学ぶための労働集約的なプロセスのままだった。 本稿では,テキスト内学習をベースとした簡易な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-07T01:03:04Z)
• Covering Uncommon Ground: Gap-Focused Question Generation for Answer Assessment [75.59538732476346]
  このようなギャップに着目した質問(GFQ)を自動生成する問題に着目する。 タスクを定義し、優れたGFQの所望の側面を強調し、これらを満たすモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-06T22:21:42Z)
• FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
  複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。 会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-31T23:58:28Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Neural Multi-Task Learning for Teacher Question Detection in Online Classrooms [50.19997675066203]
  教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。 マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
  論文  参考訳（メタデータ） (2020-05-16T02:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。