論文の概要: Internalizing Curriculum Judgment for LLM Reinforcement Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.11235v1
• Date: Mon, 11 May 2026 20:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.427072
• Title: Internalizing Curriculum Judgment for LLM Reinforcement Fine-Tuning
• Title（参考訳）: LLM強化ファインチューニングのための内部的カリキュラム判断
• Authors: Han Zheng, Yining Ma, Karthick Gunasekaran, Bharathan Balaji, Zheng Du, Shiv Vitaladevuni, Cathy Wu,
• Abstract要約: METIS(METa internalized Self-judgment)は、カリキュラムの判断をネイティブな能力として内部化するフレームワークである。 METISは、標準RTT報酬と自己判断報酬を共同最適化することで、判断と最適化のループを閉じる。
• 参考スコア（独自算出の注目度）: 10.09875193130083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In LLM Reinforcement Fine-Tuning (RFT), curriculum learning drives both efficiency and performance. Yet, current methods externalize curriculum judgment via handcrafted heuristics or auxiliary models, risking misalignment with the policy's training dynamics. In this paper, we introduce METIS (METacognitive Internalized Self-judgment), a novel framework that internalizes curriculum judgment as a native capability. Leveraging a critical observation that within-prompt reward variance effectively gauges prompt informativeness, METIS predicts this metric based on recent training outcomes as lightweight in-context learning examples. This intrinsic self-judgment then dynamically dictates the training allocation. Moreover, METIS closes the loop between judgment and optimization by jointly optimizing the standard RFT rewards and a self-judgment reward. This allows the policy to learn what to learn next, as a form of metacognition. Across extensive discrete and continuous RFT benchmarks from mathematical reasoning, code generation, to agentic function-calling, METIS consistently delivers superior performance while accelerating convergence by up to 67%. By bypassing handcrafted heuristics and auxiliary models, our work establishes a simple, closed-loop, and highly efficient curriculum internalization paradigm for LLM reinforcement fine-tuning.
• Abstract（参考訳）: LLM強化ファインチューニング(RFT)では、カリキュラム学習は効率と性能の両方を駆動する。 しかし、現在の方法では、手作りのヒューリスティックスや補助モデルを通じてカリキュラムの判断を外部化し、政策の訓練力学とミスアライメントのリスクを負う。 本稿では,カリキュラム判断をネイティブな能力として内在化する新しいフレームワークであるMETIS(METacognitive Internalized Self-judgment)を紹介する。 METISは、インインプロンプト報酬の分散が効果的に情報量を測定するという批判的な観察を活用し、最近のトレーニング結果に基づいて、この指標を軽量なインコンテキスト学習例として予測する。 この本質的な自己判断は、トレーニングアロケーションを動的に規定する。 さらに、METISは標準RFT報酬と自己判断報酬を共同最適化することにより、判断と最適化のループを閉じる。 これにより、政策はメタ認知の形で、次に何を学ぶかを学ぶことができる。 数学的推論、コード生成、エージェント関数呼び出しなど、広範囲にわたる離散的かつ連続的なRFTベンチマークを通じて、METISは、収束を最大67%加速しながら、常に優れたパフォーマンスを提供する。 本研究は,手作りヒューリスティックスと補助モデルをバイパスすることにより,LLM強化微調整のためのシンプルでクローズドループ,高効率なカリキュラム内在化パラダイムを確立する。

関連論文リスト

• Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training [29.56905427210088]
  Gragient-ARMは、好みのフィードバックから強化学習を使用するルーリックジェネレータとジャッジを共同で最適化するフレームワークである。 ベンチマークのベースライン間で、勾配-ARMは最先端のパフォーマンスを達成し、オフラインおよびオンラインの強化学習設定において、ダウンストリームポリシーアライメントを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-02-02T00:50:53Z)
• Confidence as a Reward: Transforming LLMs into Reward Models [54.98336080630691]
  Confidence-as-a-Reward (CRew) は、モデルの最終回答に対するトークンレベルの信頼を報酬のプロキシとして利用する、トレーニング不要の手法である。 CRew は MATH500 および RewardMATH ベンチマークにおいて,既存のトレーニングフリー報酬手法よりも優れていることを示す。 本稿では,信頼度スコアと正当性信号を組み合わせた選好データを構成する訓練戦略であるCRew-DPOを提案する。
  論文  参考訳（メタデータ） (2025-10-15T12:51:47Z)
• Training-Free Group Relative Policy Optimization [34.73950078782136]
  我々は,Large Language Model (LLM) エージェントが,経験的知識を先行するトークンとして学習することで,出力分布に類似した効果を得られることを論じる。 我々は,LLMエージェントの性能をパラメータ更新なしで向上する,費用対効果の高いソリューションであるTraining-Free Group Relative Policy Optimization (Training-Free GRPO)を提案する。 数学的推論とWeb検索タスクの実験により、DeepSeek-V3.1-Terminusに適用されたトレーニングフリーGRPOは、ドメイン外のパフォーマンスを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-10-09T13:18:17Z)
• Post-Training Large Language Models via Reinforcement Learning from Self-Feedback [3.73824942136665]
  大規模言語モデル(LLM)は、しばしば可算だが校正が不十分な回答を生成する。 本稿では,自己フィードバックによる強化学習(RLSF)について紹介する。
  論文  参考訳（メタデータ） (2025-07-29T15:46:26Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• RIZE: Regularized Imitation Learning via Distributional Reinforcement Learning [0.3222802562733786]
  固定された報酬構造の剛性と暗黙的な報酬規則化の柔軟性を緩和する新しい逆強化学習(IRL)法を提案する。 本手法は,最大エントロピーIRLフレームワーク上に構築され,学習中に動的に進化する適応目標を持つ2乗時間差正規化器を備える。
  論文  参考訳（メタデータ） (2025-02-27T13:47:29Z)
• RaCT: Ranking-aware Chain-of-Thought Optimization for LLMs [30.216174551427443]
  大規模言語モデル(LLM)は、テキスト再ランクタスクにおいて顕著な可能性を示している。 LLMをランク付けタスクに特化するための従来の微調整手法は、しばしばモデルの汎用能力を著しく低下させる。 本稿では,CoT(Chain-of-Thought)と革新的な2段階トレーニングパイプラインを戦略的に組み合わせた手法を提案する。
  論文  参考訳（メタデータ） (2024-12-18T23:24:15Z)
• Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate [118.37653302885607]
  本稿では,LVLM(Large Vision Language Models)のマルチモーダル事前学習品質を示すために,MIR(Modality Integration Rate)を提案する。 MIRは、トレーニングデータ選択、トレーニング戦略スケジュール、モデルアーキテクチャ設計に重点を置いて、トレーニング前の結果を改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。