論文の概要: Reinforcement Learning: From Algorithms To Foundation Models

• arxiv url: http://arxiv.org/abs/2607.17560v1
• Date: Mon, 20 Jul 2026 05:09:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.504808
• Title: Reinforcement Learning: From Algorithms To Foundation Models
• Title（参考訳）: 強化学習:アルゴリズムから基礎モデルへ
• Authors: Zihan Ding,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、明確な目的の下でのシーケンシャルな意思決定のためのフレームワークである。 この論文は、ゲームにおけるアルゴリズムと基礎モデルの時代のRLという2つの観点からRLを研究する。 戦略ゲームから生成的世界モデルに至るまで、RLが意思決定、環境モデリング、新たな基盤モデル機能とどのように結びつくかがテーマである。
• 参考スコア（独自算出の注目度）: 14.278637288980612
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) provides a framework for sequential decision making under explicit objectives. In its classical form, RL studies how an agent should act to maximise long-term reward in a dynamic environment. In richer settings, the problem extends beyond a single agent and fixed environment: intelligent behavior may require strategic interaction, adaptation to uncertainty, and reasoning over high-dimensional worlds. This thesis studies RL from two perspectives: algorithms in games and RL in the era of foundation models. The first part focuses on multi-agent RL in games. It examines how incentives, policies, and equilibrium concepts interact in competitive and general-sum environments, spanning two-player zero-sum games, large-scale video games, and multi-player settings with general structure. These works investigate learning in multi-agent systems and the behavior of RL methods in interactive environments. The second part studies RL with generative and foundation models, motivated by the idea that prior knowledge can enrich sequential decision making. Pretrained generative models and learned world models serve as representation tools and structured priors for planning, control, and policy optimization. The thesis develops diffusion-based world models, investigates RL for efficient video generation, explores generative models as policy classes, and studies interactive video world models in which actions shape future observations. It also addresses long-horizon modeling through architectures with memory. Together, these contributions present a unified view of RL as objective-driven adaptation in complex sequential domains. From strategic games to generative world models, the thesis highlights how RL connects decision making, environment modeling, and emerging foundation-model capabilities, offering a broader perspective on the principles underlying intelligent behavior.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、明確な目的の下でのシーケンシャルな意思決定のためのフレームワークである。 古典的な形式において、RLはエージェントが動的環境における長期報酬を最大化するためにどのように振る舞うべきかを研究する。 知的行動は、戦略的相互作用、不確実性への適応、高次元の世界に対する推論を必要とする可能性がある。 この論文は、ゲームにおけるアルゴリズムと基礎モデルの時代のRLという2つの観点からRLを研究する。 第1部はゲームにおけるマルチエージェントRLに焦点を当てている。 インセンティブ、ポリシー、均衡の概念が、競争環境と一般のサム環境でどのように相互作用し、2つのプレイヤーのゼロサムゲーム、大規模ビデオゲーム、そして一般的な構造を持つマルチプレイヤー設定にまたがるかを検討する。 これらの研究は、マルチエージェントシステムにおける学習と対話環境におけるRL法の挙動について研究する。 第2部はRLを生成モデルと基礎モデルで研究し、事前知識が逐次的意思決定を豊かにするという考えに動機づけられた。 事前訓練された生成モデルと学習された世界モデルは、計画、制御、ポリシー最適化のための表現ツールおよび構造化された事前情報として機能する。 論文は拡散に基づく世界モデルを開発し、効率的なビデオ生成のためのRLを調査し、政策クラスとして生成モデルを探求し、アクションが将来の観察を形作るインタラクティブなビデオワールドモデルを研究する。 また、メモリを持つアーキテクチャによるロングホライゾンモデリングにも対処する。 これらのコントリビューションは、RLを複雑なシーケンシャル領域における客観的適応として統一的に捉えている。 戦略ゲームから生成的世界モデルまで、RLが意思決定、環境モデリング、新しい基盤モデル機能とどのように結びついているかを強調し、知的行動の基礎となる原則についてより広い視点を提供する。

関連論文リスト

• AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning [129.44038804430542]
  本稿では,マルチターン対話型意思決定のためのLLMエージェントをRLで学習する新しいフレームワークであるAgentGym-RLを紹介する。 本研究では,探索-探索バランスと安定したRL最適化のためのトレーニング手法であるScalingInter-RLを提案する。 当社のエージェントは、さまざまな環境にまたがる27のタスクで、商用モデルにマッチするか、超えています。
  論文  参考訳（メタデータ） (2025-09-10T16:46:11Z)
• OctoThinker: Mid-training Incentivizes Reinforcement Learning Scaling [29.818409458662344]
  LlamaやQwenのような異なる言語モデルファミリーは、強化学習(RL)による後訓練中に異なる行動を示す 本研究では,MegaMath-Web-Proのような高品質な数学的コーパスがベースモデルとRL性能の両方を著しく改善することを明らかにする。 2段階の中間訓練戦略であるStable-then-Decayを導入し、ベースモデルを学習率を一定とした200Bトークンでトレーニングし、その後CoTに着目した3つのブランチで20Bトークンを学習速度を劣化させた。
  論文  参考訳（メタデータ） (2025-06-25T14:58:13Z)
• Dyna-Think: Synergizing Reasoning, Acting, and World Model Simulation in AI Agents [57.35214204211501]
  本稿では,AIエージェントの性能向上のための推論と行動を伴う内的世界モデルとプランニングを統合した思考フレームワークDyna-Thinkを提案する。 DITは、R1の思考プロセスを再構築し、提案された(計画された)行動に関連する世界モデルシミュレーションの実行に集中し、この再構成データを用いてポリシーを訓練する。 DDTは2段階のトレーニングプロセスを使用して、まず状態予測や批判生成といった目的を通じてエージェントの世界モデリング能力を改善し、次にポリシートレーニングを通じてエージェントのアクションを改善する。
  論文  参考訳（メタデータ） (2025-05-31T00:10:18Z)
• ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
  本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。 我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。 これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
  論文  参考訳（メタデータ） (2025-05-30T17:59:01Z)
• Video-Enhanced Offline Reinforcement Learning: A Model-Based Approach [55.76249793590689]
  Video-Enhanced Offline RL (VeoRL) は、インタラクティブな世界モデルを構築するためのモデルベースの手法である。 VeoRLは、ロボット操作、自律運転、オープンワールドビデオゲームにおける視覚制御タスクにおいて、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-05-10T00:54:12Z)
• Mastering the Digital Art of War: Developing Intelligent Combat Simulation Agents for Wargaming Using Hierarchical Reinforcement Learning [0.0]
  対象とする観察抽象化、マルチモデル統合、ハイブリッドAIフレームワーク、階層的な強化学習フレームワークなど、包括的なアプローチを提案する。 線形空間減衰を用いた局所的な観測抽象化は,RL問題を単純化し,計算効率を向上し,従来の大域的観測法よりも優れた有効性を示す。 我々のハイブリッドAIフレームワークは、スクリプトエージェントとRLを同期させ、高レベルの決定にRLを、低レベルのタスクにスクリプトエージェントを活用し、適応性、信頼性、パフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-08-23T18:50:57Z)
• Adaptive action supervision in reinforcement learning from real-world multi-agent demonstrations [10.174009792409928]
  マルチエージェントシナリオにおける実世界の実演からRLにおける適応的行動監視手法を提案する。 実験では,未知のソースとターゲット環境の異なるダイナミックスを用いて,チェイス・アンド・エスケープとフットボールのタスクを用いて,本手法がベースラインと比較して一般化能力と一般化能力のバランスを保っていることを示す。
  論文  参考訳（メタデータ） (2023-05-22T13:33:37Z)
• Continual Visual Reinforcement Learning with A Life-Long World Model [55.05017177980985]
  視覚力学モデリングのための新しい連続学習手法を提案する。 まず,タスク固有の潜在ダイナミクスを学習する長寿命世界モデルを紹介する。 そして,探索・保守的行動学習手法を用いて,過去の課題に対する価値推定問題に対処する。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• Architecting and Visualizing Deep Reinforcement Learning Models [77.34726150561087]
  深層強化学習(Deep Reinforcement Learning, DRL)は、コンピュータが相互にコミュニケーションする方法を教えることを目的とした理論である。 本稿では,新しいAtari Pongゲーム環境,ポリシーグラデーションに基づくDRLモデル,リアルタイムネットワーク可視化,そしてDRL推論の直観と認識を構築するためのインタラクティブディスプレイを提案する。
  論文  参考訳（メタデータ） (2021-12-02T17:48:26Z)
• Human-Level Reinforcement Learning through Theory-Based Modeling, Exploration, and Planning [27.593497502386143]
  理論に基づく強化学習は、人間のような直感的な理論を使って環境を探索しモデル化する。 EMPAと呼ばれるゲームプレイエージェントのアプローチをインスタンス化する。 EMPAは90のAtariスタイルのビデオゲームで人間の学習効率と一致します。
  論文  参考訳（メタデータ） (2021-07-27T01:38:13Z)
• The Adversarial Resilience Learning Architecture for AI-based Modelling, Exploration, and Operation of Complex Cyber-Physical Systems [0.0]
  本稿では、複雑な環境チェックとレジリエントな操作に対する新しいアプローチを定式化する、ARL(Adversarial Learning)の概念について述べる。 ARLのクインテッサンスは、システムを探究し、ドメインの知識なしに互いに訓練するエージェントの両方にある。 本稿では、モデルベースDRLベースのアルゴリズムと同様に、広範囲のモデルフリーを使用できるARLソフトウェアアーキテクチャを紹介する。
  論文  参考訳（メタデータ） (2020-05-27T19:19:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。