論文の概要: EVOL: Simulator-Guided Evolutionary Expert Synthesis for Deployment-Free Learning Path Recommendation

• arxiv url: http://arxiv.org/abs/2610.03273v1
• Date: Fri, 02 Oct 2026 13:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.390661
• Title: EVOL: Simulator-Guided Evolutionary Expert Synthesis for Deployment-Free Learning Path Recommendation
• Title（参考訳）: EVOL: デプロイ不要な学習経路推奨のためのシミュレータ誘導進化的エキスパート合成
• Abstract要約: 学習経路推薦のための強化学習(RL)は2つの障害に直面している。 まず、ポリシーは中間フィードバックなしで一連のL概念をコミットしなければならない。 第二に、専門家の学習経路はスパース・リワードRLの自然な治療法であるが、教育データには存在しない。 ロボット工学におけるシミュレータに基づく実演学習からレシピをインポートすることで、両方の障害に対処する。
• 参考スコア（独自算出の注目度）: 2.3322477552758234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) for learning path recommendation (LPR) faces two coupled obstacles. First, the policy must commit to a sequence of L concepts without intermediate feedback, producing a combinatorial search space that grows super-exponentially with L and provides reward only at the final step. Second, expert learning paths would be the natural cure for sparse-reward RL, but they do not exist in educational data, because student logs record what learners did, not what they should have done. We address both obstacles by importing a recipe from simulator-based demonstration learning in robotics: the knowledge tracing simulator is used both to synthesize per-learner expert demonstrations through evolutionary search and to train a deployment-free policy that distills these demonstrations into a feed-forward learner. Our framework, EVOL, instantiates this pipeline with an asymmetric actor-critic where the actor commits to deployment-realistic blind planning while the critic exploits the privileged simulator state during training. Across three datasets (ASSIST15, Junyi, and EdNet; 39-189 concepts) and path lengths L = 5, 10, and 20, EVOL surpasses 8 baselines spanning heuristic, sequential, RL, graph-enhanced RL, and LLM-enhanced methods. We further compare three imitation strategies (BC, AWR, and DAPG) and show that final performance is governed by the quality of evolutionary experts rather than by the particular imitation objective.
• Abstract（参考訳）: 学習経路推薦(LPR)のための強化学習(RL)は2つの障害に直面している。 まず、ポリシーは中間フィードバックなしでL概念の列にコミットし、Lと超指数的に成長する組合せ探索空間を生成し、最終ステップでのみ報酬を与える。 第二に、専門家の学習パスはスパース・リワード・RLの自然な治療法であるが、学生ログは学習者が何をしたかを記録しているため、教育データには存在しない。 ロボット工学におけるシミュレータに基づく実演学習からレシピをインポートすることで、両方の障害に対処する。知識追跡シミュレータは、進化的探索を通じてラーナー毎の専門家による実演を合成し、これらの実演をフィードフォワード学習者に蒸留する展開不要ポリシーを訓練するために使用される。 我々のフレームワークであるEVOLは、アクターがこのパイプラインを非対称なアクター批判でインスタンス化し、アクターはデプロイ現実的なブラインドプランニングにコミットし、批判者はトレーニング中に特権化されたシミュレータ状態を利用する。 3つのデータセット(ASSIST15、Junyi、EdNet、39-189のコンセプト)と経路長L = 5, 10, 20、EVOLは、ヒューリスティック、シーケンシャル、RL、グラフ強化RL、LLM拡張メソッドにまたがる8つのベースラインを超える。 さらに, 3つの模倣戦略 (BC, AWR, DAPG) を比較し, 最終性能は, 特定の模倣目標よりも進化の専門家の質に支配されていることを示す。

関連論文リスト

• EvoTrainer: Co-Evolving LLM Policies and Training Harnesses for Autonomous Agentic Reinforcement Learning [77.47708145025832]
  EvoTrainerは、ポリシーとトレーニングサイドハーネスを共同開発した、自律的なトレーニングフレームワークである。 ロールアウトレベルの証拠を診断し、診断を見直し、介入をバックテストし、再利用可能なスキルを蓄積する。
  論文  参考訳（メタデータ） (2026-06-02T03:47:48Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)
• On the Emergence of Thinking in LLMs I: Searching for the Right Intuition [34.32871896067864]
  自己学習による強化学習(RLSP)というポストトレーニングフレームワークを提案する。 RLSPは、推論プロセスの人間または合成的なデモンストレーションによる微調整、多種多様な効率的な推論行動を促進するための探索報酬信号の使用、報酬ハッキングを予防しながら正当性を確保するための結果検証器によるRLトレーニングの3段階を含む。 数学領域における実証的研究は、RLSPが推論を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-10T18:52:04Z)
• Scalable Reinforcement Post-Training Beyond Static Human Prompts: Evolving Alignment via Asymmetric Self-Play [52.3079697845254]
  evaは、オフラインとオンラインのRLポストトレーニングの両方で、言語モデルがトレーニングプロンプトを適応的に作成できるようにする最初の方法である。 我々は,エバが有効なRLキュリキュラを作成でき,アブレーションにまたがって堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T08:15:32Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。