論文の概要: 2048: Reinforcement Learning in a Delayed Reward Environment

• arxiv url: http://arxiv.org/abs/2507.05465v1
• Date: Mon, 07 Jul 2025 20:33:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.340695
• Title: 2048: Reinforcement Learning in a Delayed Reward Environment
• Title（参考訳）: 2048年:遅延後進環境における強化学習
• Authors: Prady Saligram, Tanvir Bhathal, Robby Manihani,
• Abstract要約: 遅延とスパース報酬は、強化学習(RL)エージェントの基本的な障害となる。 本稿では,長距離性能を直接最適化するための分散分散多段階RLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Delayed and sparse rewards present a fundamental obstacle for reinforcement-learning (RL) agents, which struggle to assign credit for actions whose benefits emerge many steps later. The sliding-tile game 2048 epitomizes this challenge: although frequent small score changes yield immediate feedback, they often mislead agents into locally optimal but globally suboptimal strategies. In this work, we introduce a unified, distributional multi-step RL framework designed to directly optimize long-horizon performance. Using the open source Gym-2048 environment we develop and compare four agent variants: standard DQN, PPO, QR-DQN (Quantile Regression DQN), and a novel Horizon-DQN (H-DQN) that integrates distributional learning, dueling architectures, noisy networks, prioritized replay, and more. Empirical evaluation reveals a clear hierarchy in effectiveness: max episode scores improve from 3.988K (DQN) to 5.756K (PPO), 8.66K (QR-DQN), and 18.21K (H-DQN), with H-DQN reaching the 2048 tile. Upon scaling H-DQN it reaches a max score 41.828K and a 4096 tile. These results demonstrate that distributional, multi-step targets substantially enhance performance in sparse-reward domains, and they suggest promising avenues for further gains through model-based planning and curriculum learning.
• Abstract（参考訳）: 遅延とスパース報酬は強化学習(RL)エージェントに根本的な障害をもたらし、後から多くのステップが生じるアクションに対する信用を割り当てるのに苦労する。 2048年のスライディングタイルゲームは、しばしば小さなスコアの変更が即時フィードバックをもたらすが、エージェントをローカルに最適だがグローバルに最適の戦略に誤解させることが多い。 本研究では,長期化性能の直接最適化を目的とした分散分散多段階RLフレームワークを提案する。 オープンソースのGym-2048環境を用いて、標準DQN、PPO、QR-DQN(Quantile Regression DQN)と、分散学習、デュエルアーキテクチャ、ノイズネットワーク、優先度付きリプレイなどを統合する新しいHorizon-DQN(H-DQN)の4種類のエージェントを開発・比較する。 最大エピソードスコアは3.988K(DQN)から5.756K(PPO)、8.66K(QR-DQN)、18.21K(H-DQN)に改善され、H-DQNは2048タイルに達する。 H-DQNをスケーリングすると、最大スコアは41.828K、タイルは4096に達する。 これらの結果は,分散的多段階目標がスパース・リワード領域の性能を大幅に向上することを示し,モデルベース計画とカリキュラム学習によるさらなる成果を期待できる道筋を示唆している。

関連論文リスト

• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• Discriminative Policy Optimization for Token-Level Reward Models [55.98642069903191]
  プロセス報酬モデル(PRM)は、結果報酬モデル(ORM)と比較して、よりきめ細かい監督を提供する。 Q-RMは、微粒なアノテーションに頼ることなく、優先データからトークンレベルのQ関数を明示的に学習する。 Q-RMによる強化学習は、トレーニング効率を大幅に向上させ、GSM8KでのORMの12倍、MATHでのステップレベルPRMの11倍の収束を実現した。
  論文  参考訳（メタデータ） (2025-05-29T11:40:34Z)
• Stable Reinforcement Learning for Efficient Reasoning [2.838966689544288]
  GRPO-$lambda$ は GRPO の効率的で安定な変種である。 正当率を監視して報酬戦略を動的に調整する。 平均精度は1.48%向上し、CoT配列の長さは47.3%削減された。
  論文  参考訳（メタデータ） (2025-05-23T16:43:03Z)
• S-GRPO: Early Exit via Reinforcement Learning in Reasoning Models [2.9925837108958864]
  テスト時間スケーリングは、大規模な言語モデルコミュニティに活発な研究対象として現れます。 最近の研究では、推論モデル(Qwen3でさえも過度の思考冗長性を示すことが示されている。 本稿では,新たな強化学習パラダイムであるS-GRPO(Serial-Group Decaying-Reward Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2025-05-12T15:50:44Z)
• Think Twice: Enhancing LLM Reasoning by Scaling Multi-round Test-time Thinking [16.441081996257576]
  本稿では, 簡易かつ効果的なテスト時間スケーリング手法としてマルチラウンド思考を提案する。 この方法は、その後のラウンドのプロンプトとして過去の回答を活用することにより、モデル推論を反復的に洗練する。 QwQ-32BやDeepSeek-R1など、複数のモデルにわたる実験は、一貫してパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2025-03-25T17:19:38Z)
• Deep Q-Network Based Multi-agent Reinforcement Learning with Binary Action Agents [1.8782750537161614]
  強化学習(RL)のためのディープQネットワーク(DQN)ベースのマルチエージェントシステム(MAS)は、エージェントが学習し通信しなければならない様々なスキームを使用する。 共有状態と報酬を用いたRLのための単純だが効率的なDQNベースのMASを提案する。 このアプローチの利点は、従来のDQNベースのアプローチと比較して、全体的な単純さ、より高速な収束、より良いパフォーマンスである。
  論文  参考訳（メタデータ） (2020-08-06T15:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。