論文の概要: FEAT: A Preference Feedback Dataset through a Cost-Effective Auto-Generation and Labeling Framework for English AI Tutoring
- arxiv url: http://arxiv.org/abs/2506.19325v2
- Date: Fri, 27 Jun 2025 00:38:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-30 13:06:01.326168
- Title: FEAT: A Preference Feedback Dataset through a Cost-Effective Auto-Generation and Labeling Framework for English AI Tutoring
- Title(参考訳): FEAT: 英語AIチューニングのためのコスト効果のある自動生成およびラベル作成フレームワークによる優先フィードバックデータセット
- Authors: Hyein Seo, Taewook Hwang, Yohan Lee, sangkeun Jung,
- Abstract要約: 英語教育の授業では、教師のフィードバックは生徒の指導に不可欠である。
近年,教師を支援するため,AIによる授業支援システムが登場している。
教員のフィードバックを生成するための費用対効果の高いフレームワークであるFEATを提案する。
- 参考スコア(独自算出の注目度): 1.2624532490634643
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In English education tutoring, teacher feedback is essential for guiding students. Recently, AI-based tutoring systems have emerged to assist teachers; however, these systems require high-quality and large-scale teacher feedback data, which is both time-consuming and costly to generate manually. In this study, we propose FEAT, a cost-effective framework for generating teacher feedback, and have constructed three complementary datasets: (1) DIRECT-Manual (DM), where both humans and large language models (LLMs) collaboratively generate high-quality teacher feedback, albeit at a higher cost; (2) DIRECT-Generated (DG), an LLM-only generated, cost-effective dataset with lower quality;, and (3) DIRECT-Augmented (DA), primarily based on DG with a small portion of DM added to enhance quality while maintaining cost-efficiency. Experimental results showed that incorporating a small portion of DM (5-10%) into DG leads to superior performance compared to using 100% DM alone.
- Abstract(参考訳): 英語教育の授業では、教師のフィードバックは生徒の指導に不可欠である。
近年、教師を支援するためにAIベースの指導システムが登場しているが、これらのシステムは高品質で大規模な教師のフィードバックデータを必要としており、手動で作成するのに時間と費用がかかる。
本研究では,教師のフィードバックを生成するための費用効率のよいフレームワークであるFEATを提案し,(1)人間と大規模言語モデル(LLM)が協調して高品質な教師のフィードバックを高コストで生成するDIRECT-Generated(DG),(2)低品質のLCM専用でコスト効率のよいデータセットであるDIRECT-Augmented(DA),(3)DIRECT-Augmented(DA)という3つの補完的データセットを構築した。
実験の結果, DMのごく一部(5~10%)をDGに組み込むことで, 100%DM単独よりも優れた性能が得られることがわかった。
関連論文リスト
- Assistant-Guided Mitigation of Teacher Preference Bias in LLM-as-a-Judge [49.269894675720835]
AGDe-Judgeは、トレーニングデータのラベルとフィードバックの両方から疎外するように設計されたフレームワークです。
AGDe-Judgeは、6つの評価ベンチマークで高いパフォーマンスを維持しながら、教師の嗜好バイアスを効果的に低減します。
論文 参考訳(メタデータ) (2025-05-25T14:48:49Z) - DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs [58.4911494598431]
DistiLLM-2は、教師の反応の可能性を同時に増加させ、生徒の反応を減少させる対照的なアプローチである。
実験の結果,DistiLLM-2は様々なタスクにまたがって高性能な学生モデルを構築するだけでなく,多様なアプリケーションをサポートすることがわかった。
論文 参考訳(メタデータ) (2025-03-10T08:51:32Z) - Self-Evolved Reward Learning for LLMs [45.6910747154447]
RLHF(Reinforcement Learning from Human Feedback)は、言語モデルと人間の嗜好を整合させる重要な手法である。
本稿では、RMが反復的に自己改善するための追加のトレーニングデータを生成する新しいアプローチである自己進化リワード学習(SER:Self-Evolved Reward Learning)を提案する。
以上の結果から,人間による注釈付きデータであっても,自己フィードバックから学習することで,RM性能が向上することが示唆された。
論文 参考訳(メタデータ) (2024-11-01T07:29:03Z) - Developing a Tutoring Dialog Dataset to Optimize LLMs for Educational Use [1.2277343096128712]
大規模言語モデル(LLM)は、スケーラブルな教育アプリケーションへの期待を示している。
本研究は,読解問題における1対1の指導に,より小型で手頃なLPMを用いることを検討した。
論文 参考訳(メタデータ) (2024-10-25T00:40:21Z) - Human-AI Collaborative Essay Scoring: A Dual-Process Framework with LLMs [13.262711792955377]
本研究では,Large Language Models (LLMs) のエッセイ自動評価における有効性について検討した。
本稿では,デュアルプロセス理論にインスパイアされたオープンソースのLLMベースのAESシステムを提案する。
本システムでは, 学習過程の自動化だけでなく, 成績や効率の向上も図っている。
論文 参考訳(メタデータ) (2024-01-12T07:50:10Z) - Impossible Distillation: from Low-Quality Model to High-Quality Dataset & Model for Summarization and Paraphrasing [59.58984194238254]
本稿では,パラフレーズと文要約のための新しい枠組みであるImpossible Distillationを提案する。
極端に大規模な教師モデルに依存した先行研究とは異なり、パラフラスティックな近在性と事前学習されたLMを仮説化し、検証する。
これらの部分空間から世代を同定して蒸留することにより、インポッシブル蒸留は、GPT2スケールのLMでも高品質なデータセットとモデルを生成する。
論文 参考訳(メタデータ) (2023-05-26T05:19:24Z) - MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties
Grounded in Math Reasoning Problems [74.73881579517055]
そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。
このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
論文 参考訳(メタデータ) (2023-05-23T21:44:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。