論文の概要: A Simple "Motivation" Can Enhance Reinforcement Finetuning of Large Reasoning Models
- arxiv url: http://arxiv.org/abs/2506.18485v2
- Date: Thu, 25 Sep 2025 13:11:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-26 14:16:55.92139
- Title: A Simple "Motivation" Can Enhance Reinforcement Finetuning of Large Reasoning Models
- Title（参考訳）: 簡易な「モチベーション」による大規模共振モデルの強化微細化
- Authors: Junjie Zhang, Guozheng Ma, Shunyu Liu, Haoyu Wang, Jiaxing Huang, Ting-En Lin, Fei Huang, Yongbin Li, Dacheng Tao,
- Abstract要約: MeRF(Motivation-enhanced Reinforcement Finetuning)は、大規模共振モデルの強化微調整を強化する直感的かつ効果的な方法である。
MeRFは報酬仕様を直接プロンプトに注入し、最適化目標を認識するためのコンテキスト内モチベーションとして機能する。
MeRFはRLVRベースラインよりもパフォーマンスが大幅に向上する。
- 参考スコア（独自算出の注目度）: 103.88578274567784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a powerful learn-to-reason paradigm for Large Reasoning Models to tackle complex tasks. However, current RLVR paradigm is still not efficient enough, as it works in a trial-and-error manner. To perform better, the model needs to explore the reward space by numerously generating responses and learn from fragmented reward signals, blind to the overall reward patterns. Fortunately, verifiable rewards make the natural language description of the reward function possible, and meanwhile, LLMs have demonstrated strong in-context learning ability. This motivates us to explore if Large Reasoning Models can benefit from a motivation of the task, i.e., awareness of the reward function, during the reinforcement finetuning process, as we humans sometimes do when learning. In this paper, we introduce Motivation-enhanced Reinforcement Finetuning (MeRF), an intuitive yet effective method enhancing reinforcement finetuning of LLMs by involving ``telling LLMs rules of the game''. Specifically, MeRF directly injects the reward specification into the prompt, which serves as an in-context motivation for the model to be aware of the optimization objective. This simple modification leverages the in-context learning ability of LLMs, aligning generation with optimization, thereby incentivizing the model to generate desired outputs from both inner motivation and external reward. Empirical evaluations demonstrate that MeRF achieves substantial performance gains over RLVR baseline. Moreover, ablation studies show that MeRF performs better with greater consistency between the in-context motivation and the external reward function, while the model also demonstrates an ability to adapt to misleading motivations through reinforcement finetuning.
- Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR)は、複雑なタスクに取り組むための大規模推論モデルのための強力な学習・推論パラダイムとして登場した。
しかし、現在のRLVRパラダイムはトライアル・アンド・エラー方式で機能するため、まだ十分に効率的ではない。
より良いパフォーマンスを得るためには、モデルが多数の応答を生成して報酬空間を探索し、断片化された報酬信号から学習し、全体の報酬パターンを無視する必要がある。
幸運なことに、検証可能な報酬は、報酬関数の自然言語記述を可能にする一方で、LLMは強い文脈内学習能力を示している。
これは、大規模推論モデルがタスクのモチベーション、すなわち、人間が学習するときに行うように、強化微調整過程における報酬関数の認識から恩恵を受けることができるかどうかを探求する動機となる。
本稿では,「ゲームにおけるLLM規則」を取り入れることで,LLMの強化微調整を強化する直感的かつ効果的な手法であるMeRFを紹介する。
具体的には、MeRFは報酬仕様を直接プロンプトに注入し、最適化目標に気付くためのコンテキスト内モチベーションとして機能する。
この単純な修正は、LLMのコンテキスト内学習能力を活用し、生成と最適化を一致させ、内部モチベーションと外部報酬の両方から所望の出力を生成するモデルにインセンティブを与える。
経験的評価により、MeRFはRLVRベースラインよりもかなりの性能向上を達成している。
さらに, アブレーション実験により, 文脈内モチベーションと外部報酬関数との整合性が向上し, 強化微調整により, 誤解を招くモチベーションに適応する能力も示された。
関連論文リスト
- No Free Lunch: Rethinking Internal Feedback for LLM Reasoning [12.881043910316787]
強化学習は、推論を改善するために大規模言語モデル(LLM)の訓練後において強力なパラダイムとして登場した。
内的フィードバック(RLIF)からの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は,外的報酬ではなく,本質的なモデル由来の信号にのみ依存する手法である。
論文 参考訳（メタデータ） (2025-06-20T17:59:52Z) - Exploring and Exploiting the Inherent Efficiency within Large Reasoning Models for Self-Guided Efficiency Enhancement [101.77467538102924]
大きな推論モデル(LRM)は、効率を阻害し、推論コストを膨らませる過剰な考えを示す。
LRM効率を向上させるための2つの軽量手法を提案する。
まず,学習不要なアクティベーションステアリング技術であるEfficic Steeringを導入する。
第2に,タスクの正確さと簡潔さを動的にバランスする強化学習フレームワークである自己回帰効率RLを開発する。
論文 参考訳（メタデータ） (2025-06-18T17:18:12Z) - Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。
私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。
本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
論文 参考訳（メタデータ） (2025-06-10T12:40:39Z) - KORGym: A Dynamic Game Platform for LLM Reasoning Evaluation [78.96590724864606]
我々はKOR-BenchとGymnasiumに触発された動的評価プラットフォームであるKORGym(Knowledge Orthogonal Reasoning Gymnasium)を紹介する。
KORGymはテキストまたはビジュアル形式で50以上のゲームを提供し、強化学習シナリオによるインタラクティブでマルチターンアセスメントをサポートする。
論文 参考訳（メタデータ） (2025-05-20T16:06:32Z) - OpenVLThinker: An Early Exploration to Complex Vision-Language Reasoning via Iterative Self-Improvement [91.88062410741833]
本研究では,類似の推論機能を大規模視覚言語モデル(LVLM)にうまく組み込むことができるか検討する。
本稿では,教師付き微調整(SFT)と強化学習(RL)を反復的に活用し,モデル一般化をさらに改善する手法を検討する。
OpenVLThinkerは、MathVista、MathVerse、MathVisionといった挑戦的なベンチマークで一貫して改善された推論性能を示すLVLMである。
論文 参考訳（メタデータ） (2025-03-21T17:52:43Z) - ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。
ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。
単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
論文 参考訳（メタデータ） (2025-03-12T16:05:31Z) - FANformer: Improving Large Language Models Through Effective Periodicity Modeling [30.84203256282429]
本稿では、FANformerを導入し、FAN(Fourier Analysis Network)をアテンション機構に適応させ、効率的な周期性モデリングを実現する。
モデルサイズのスケールアップやトークンのトレーニングでは,FANformerがTransformerより一貫して優れています。
トレーニング済みのFANformer-1Bは、同様のモデルパラメータやトレーニングトークンを持つオープンソースのLLMと比較して、ダウンストリームタスクが大幅に改善されている。
論文 参考訳（メタデータ） (2025-02-28T18:52:24Z) - Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。
近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。
そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
論文 参考訳（メタデータ） (2025-02-04T17:26:58Z) - Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse Reinforcement Learning [6.691759477350243]
Reinforcement Learning from Human Feedbackで訓練された大規模言語モデル(LLM)は、目覚ましい能力を示しているが、その基盤となる報酬関数や意思決定プロセスは不透明である。
本稿では, 逆強化学習(IRL)を用いて暗黙の報酬関数を復元することにより, LLMを解釈する新しい手法を提案する。
我々は,ヒトの嗜好を予測するために,最大85%の精度で報酬モデルを抽出し,様々な大きさの毒性に整合したLSMの実験を行った。
論文 参考訳（メタデータ） (2024-10-16T12:14:25Z) - Enhancing Q-Learning with Large Language Model Heuristics [0.0]
大規模言語モデル(LLM)は、単純なタスクでゼロショット学習を達成できるが、推論速度の低下と時折幻覚に悩まされる。
我々は,LLMを幻覚として活用し,強化学習のためのQ関数の学習を支援するフレームワークであるtextbfLLM-guided Q-learningを提案する。
論文 参考訳（メタデータ） (2024-05-06T10:42:28Z) - Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection [24.435121488662897]
反射フィードバックによる強化学習(RLRF)という新しい枠組みを提案する。
RLRFは自己回帰機構を用いて、LLM応答を体系的に探索し、洗練し、RLアルゴリズムを介してモデルを微調整し、有望な応答を与える。
ジャスト・エバル, ファクタリティ, 数学的推論による実験は, RLRFの有効性と変換ポテンシャルを実証した。
論文 参考訳（メタデータ） (2024-03-21T08:57:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。