論文の概要: A Technical Survey of Reinforcement Learning Techniques for Large Language Models

• arxiv url: http://arxiv.org/abs/2507.04136v1
• Date: Sat, 05 Jul 2025 19:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.035271
• Title: A Technical Survey of Reinforcement Learning Techniques for Large Language Models
• Title（参考訳）: 大規模言語モデルの強化学習技術に関する技術調査
• Authors: Saksham Sahai Srivastava, Vaneet Aggarwal,
• Abstract要約: 大規模言語モデル(LLM)の整合・拡張のための変換的アプローチとして強化学習(RL)が登場している。 RLHFはアライメントにおいて支配的であり、RLVRのような結果ベースのRLは段階的推論を著しく改善する。 報酬のハッキング、計算コスト、スケーラブルなフィードバック収集といった永続的な課題は、継続的なイノベーションの必要性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 33.38582292895673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) has emerged as a transformative approach for aligning and enhancing Large Language Models (LLMs), addressing critical challenges in instruction following, ethical alignment, and reasoning capabilities. This survey offers a comprehensive foundation on the integration of RL with language models, highlighting prominent algorithms such as Proximal Policy Optimization (PPO), Q-Learning, and Actor-Critic methods. Additionally, it provides an extensive technical overview of RL techniques specifically tailored for LLMs, including foundational methods like Reinforcement Learning from Human Feedback (RLHF) and AI Feedback (RLAIF), as well as advanced strategies such as Direct Preference Optimization (DPO) and Group Relative Policy Optimization (GRPO). We systematically analyze their applications across domains, i.e., from code generation to tool-augmented reasoning. We also present a comparative taxonomy based on reward modeling, feedback mechanisms, and optimization strategies. Our evaluation highlights key trends. RLHF remains dominant for alignment, and outcome-based RL such as RLVR significantly improves stepwise reasoning. However, persistent challenges such as reward hacking, computational costs, and scalable feedback collection underscore the need for continued innovation. We further discuss emerging directions, including hybrid RL algorithms, verifier-guided training, and multi-objective alignment frameworks. This survey serves as a roadmap for researchers advancing RL-driven LLM development, balancing capability enhancement with safety and scalability.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の整合性と拡張のための転換的アプローチとして登場し、指示の追従、倫理的整合性、推論能力において重要な課題に対処している。 このサーベイはRLと言語モデルの統合に関する総合的な基盤を提供し、PPO(Proximal Policy Optimization)、Q-Learning、アクター・クリティカルな手法などの顕著なアルゴリズムを強調している。 さらに、人間のフィードバックからの強化学習(RLHF)やAIフィードバック(RLAIF)といった基礎的な手法や、直接参照最適化(DPO)やグループ相対ポリシー最適化(GRPO)といった高度な戦略など、LLMに特化されたRLテクニックの広範な技術的概要を提供する。 私たちは、コード生成からツール拡張推論まで、ドメイン間でそれらのアプリケーションを体系的に分析します。 また、報酬モデル、フィードバックメカニズム、最適化戦略に基づく比較分類法を提案する。 私たちの評価は重要なトレンドを浮き彫りにする。 RLHFはアライメントにおいて支配的であり、RLVRのような結果ベースのRLは段階的推論を著しく改善する。 しかし、報酬のハッキング、計算コスト、スケーラブルなフィードバック収集といった永続的な課題は、継続的なイノベーションの必要性を浮き彫りにしている。 さらに、ハイブリッドRLアルゴリズム、検証者誘導トレーニング、多目的アライメントフレームワークなど、新たな方向性についても論じる。 この調査は、研究者がRL駆動のLLM開発を進め、安全性とスケーラビリティのバランスをとるためのロードマップとなっている。

関連論文リスト

• Enhancing Code LLMs with Reinforcement Learning in Code Generation: A Survey [15.37013454932678]
  大規模言語モデル(LLM)の強化のための強力なパラダイムとして強化学習(RL)が登場した。 この調査は、コード開発ライフサイクル全体にわたってRL駆動のテクニックを体系的にレビューする。
  論文  参考訳（メタデータ） (2024-12-29T06:15:41Z)
• Improving Multi-Step Reasoning Abilities of Large Language Models with Direct Advantage Policy Optimization [22.67700436936984]
  ステップレベルのオフライン強化学習アルゴリズムであるDAPO(Direct Advantage Policy Optimization)を導入する。 DAPOは、各ステップにおける推論精度を予測するために批判機能を使用し、それによって高密度信号を生成して生成戦略を洗練させる。 その結果,DAPO は SFT モデルと RL モデルの両方の数学的・コード的能力を効果的に向上し,DAPO の有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-12-24T08:39:35Z)
• Reinforcement Learning Enhanced LLMs: A Survey [45.57586245741664]
  我々はRL強化大言語モデル(LLM)に関する最新の知識の体系的なレビューを行う。 具体的には、RLの基礎を詳述し、(2)人気のRL強化LLMを導入し、(3)広く使われている報酬モデルに基づくRL技術であるReinforcement Learning from Human Feedback(RLHF)とReinforcement Learning from AI Feedback(RLAIF)についてレビューする。
  論文  参考訳（メタデータ） (2024-12-05T16:10:42Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities [63.258517066104446]
  進化的アルゴリズムの構成要素として統合された強化学習は,近年,優れた性能を示している。 本稿では,RL-EA 統合手法,RL-EA が採用する RL-EA 支援戦略,および既存文献による適用について論じる。 RL-EAセクションの適用例では、RL-EAのいくつかのベンチマークおよび様々な公開データセットにおける優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-25T15:06:05Z)
• Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
  大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。 人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。 本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-07-11T01:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。