論文の概要: A Multi-Agent Approach to Validate and Refine LLM-Generated Personalized Math Problems
- arxiv url: http://arxiv.org/abs/2604.05160v1
- Date: Mon, 06 Apr 2026 20:47:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.483423
- Title: A Multi-Agent Approach to Validate and Refine LLM-Generated Personalized Math Problems
- Title（参考訳）: LLM生成パーソナライズされた数学問題の検証と再定義のためのマルチエージェントアプローチ
- Abstract要約: 本稿では,パーソナライズを反復生成-検証-修正プロセスとして形式化するフレームワークを提案する。
可解性, 現実性, 可読性, 真正性の基準を対象とする, 4つの特殊検証エージェントを用いた。
我々は、人気のあるオンライン数学の宿題プラットフォームであるASSISTmentsから引き出された600の問題の枠組みを評価した。
- 参考スコア（独自算出の注目度）: 5.687145473906
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Students benefit from math problems contextualized to their interests. Large language models (LLMs) offer promise for efficient personalization at scale. However, LLM-generated personalized problems may often have problems such as unrealistic quantities and contexts, poor readability, limited authenticity with respect to students' experiences, and occasional mathematical inconsistencies. To alleviate these problems, we propose a multi-agent framework that formalizes personalization as an iterative generate--validate--revise process; we use four specialized validator agents targeting the criteria of solvability, realism, readability, and authenticity, respectively. We evaluate our framework on 600 problems drawn from a popular online mathematics homework platform, ASSISTments, personalizing each problem to a fixed set of 20 student interest topics. We compare three refinement strategies that differ in how validation feedback is coordinated into revisions. Results show that authenticity and realism are the most frequent failure modes in initial LLM-personalized problems, but that a single refinement iteration substantially reduces these failures. We further find that different refinement strategies have different strengths on different criteria. We also assess validator reliability via human evaluation. Results show that reliability is highest on realism and lowest on authenticity, highlighting the need for better evaluation protocols that consider teachers' and students' personal characteristics.
- Abstract（参考訳）: 学生は、自分の興味に文脈化された数学の問題から恩恵を受ける。
大規模言語モデル(LLM)は、大規模で効率的なパーソナライズを約束する。
しかし、LLMが生成したパーソナライズされた問題には、非現実的な量や文脈、可読性の低さ、学生の経験に対する限られた信頼性、時には数学的不整合といった問題がある。
これらの問題を緩和するために, 個人化を反復生成-検証-修正プロセスとして形式化するマルチエージェントフレームワークを提案し, 可解性, リアリズム, 可読性, 信頼性の基準を目標とした4つの特殊検証エージェントを用いた。
我々は,一般的なオンライン数学の宿題プラットフォームであるASSISTmentsから引き出された600の問題の枠組みを評価し,各問題を20の学生関心トピックの固定セットにパーソナライズする。
検証フィードバックの調整方法が異なる3つの改善戦略を比較した。
その結果,LLMの個人化問題において,信頼度とリアリズムは最も頻繁な障害モードであることがわかった。
さらに、異なる改善戦略は異なる基準で異なる強みを持つことがわかりました。
また,人間による評価によって検証者の信頼性を評価する。
その結果、信頼性は現実主義が最も高く、信頼度は最低であり、教師や生徒の個人的特性を考慮したより良い評価プロトコルの必要性が浮き彫りになった。
関連論文リスト
- Simulating Students' Java Programming Errors with Large Language Models [7.543318372822572]
本稿では,大規模言語モデル(LLM)が,コード入力における現実的な論理的誤りをシミュレートすることにより,学生にとってスケーラブルなプロキシとして機能するかどうかを考察する。
74,000以上の学生Javaを37の問題を対象とするCodeWorkoutデータセットを用いて,3つの主要なプロンプト戦略の下で5つのLSMを評価した。
我々の定量的発見によると、全てのモデルが多様なエラーを発生させる一方で、人間の提出に対するアライメントは多様化している。
論文 参考訳（メタデータ） (2026-06-12T04:51:49Z) - Automated Grading of Handwritten Mathematics Using Vision-Capable LLMs [2.727845763576068]
視覚対応の大型言語モデル(LLM)は新しい機会を提供する。
インストラクター定義ルーブリックを用いた手書き数学書記作業のためのLLM-based graderの実証評価を行った。
論文 参考訳（メタデータ） (2026-05-18T19:06:15Z) - Can MLLMs Read Students' Minds? Unpacking Multimodal Error Analysis in Handwritten Math [55.83696908107408]
スクラッチマス(ScratchMath)は,手書き数学のスクラッチワークにおける誤りの説明と分類のための新しいベンチマークである。
本データセットは,中国初等・中等生の1,720個の数学サンプルからなる。
我々は,ScratchMath上での16のMLLMを系統的に評価し,人的専門家に対する顕著な性能差を明らかにした。
論文 参考訳（メタデータ） (2026-03-26T02:57:20Z) - Reward Modeling for Scientific Writing Evaluation [50.33952894976367]
多様なオープンエンドの科学的記述タスクを評価するために、確実にデプロイできるモデルを開発することが重要である。
本稿では,科学的執筆評価に適した費用効率の高いオープンソース報酬モデルを提案する。
論文 参考訳（メタデータ） (2026-01-16T15:32:58Z) - SMART: Self-Generating and Self-Validating Multi-Dimensional Assessment for LLMs' Mathematical Problem Solving [24.689620248781214]
大規模言語モデル(LLM)は、様々な数学的なベンチマークで顕著な結果を得た。
最終回答か推論プロセスに焦点をあてた共通評価手法は、問題解決手順全体を評価するのに失敗する。
この結果から,現在のLCMの真の弱点が明らかとなり,新たな指標であるオールパススコア(All-Pass Score)のモチベーションが得られた。
論文 参考訳（メタデータ） (2025-05-22T13:18:24Z) - Multi-Agent LLM Judge: automatic personalized LLM judge design for evaluating natural language generation applications [0.0]
大規模言語モデル(LLM)は、さまざまなドメインにまたがって素晴らしいパフォーマンスを示しているが、ドメイン固有の知識の不足、バイアス、幻覚といった問題に直面している。
単語重複やテキスト埋め込みに依存する従来の評価手法は、動的でオープンなテキスト生成を評価するのに必要なニュアンスドセマンティック情報を取得するには不十分である。
本稿では,様々な自然言語生成アプリケーション向けにパーソナライズされたLLM判断器を自動設計する動的マルチエージェントシステムを提案する。
論文 参考訳（メタデータ） (2025-04-01T09:36:56Z) - Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
本稿では,Large Language Models (LLM) の批判能力の向上について検討する。
SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。
分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
論文 参考訳（メタデータ） (2025-01-10T05:51:52Z) - Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。
LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。
教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
論文 参考訳（メタデータ） (2024-07-12T10:11:40Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z) - Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。
ReasonEvalはメタ評価データセットのベースライン手法よりも一貫して優れていることを示す。
我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
論文 参考訳（メタデータ） (2024-04-08T17:18:04Z) - MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。
このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。
GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
論文 参考訳（メタデータ） (2023-12-28T15:49:43Z) - Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。
本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。
LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
論文 参考訳（メタデータ） (2023-10-30T17:04:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。