論文の概要: MindGames Arena Generalization Track: In2AI Solution with Delayed Per-Step Reward Attribution

• arxiv url: http://arxiv.org/abs/2606.00017v1
• Date: Mon, 13 Apr 2026 23:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.573905
• Title: MindGames Arena Generalization Track: In2AI Solution with Delayed Per-Step Reward Attribution
• Title（参考訳）: MindGames Arena Generalization Track: ステップ毎のリワード属性が遅れたIn2AIソリューション
• Authors: Aliaksei Korshuk, Alexander Buyantuev, Ilya Makarov,
• Abstract要約: マルチエージェント戦略相互作用のための言語モデルエージェントの訓練は、中核的な困難をもたらす。 標準的な強化学習では、報酬は各ステップで割り当てられると仮定しているが、この仮定は時間とエージェントの間で結果が絡み合っている環境では失敗する。 我々は,段階ごとの報酬帰属の遅れに,適度ゲーティング,エピソードライフサイクル,後処理パイプラインを導入している。
• 参考スコア（独自算出の注目度）: 45.957713330643934
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training language model agents for multi-agent strategic interaction presents a core difficulty: the quality of any action may depend on future events that never materialize, on moves that violate game rules, or on decisions made by other players. Standard reinforcement learning assumes that rewards can be assigned at each step, but this assumption fails in settings where outcomes are entangled across time and agents. We introduce delayed per-step reward attribution with eligibility gating, an episode lifecycle and postprocessing pipeline that computes rewards only at episode end, propagates them back to originating steps according to task-specific semantics, and excludes steps that lack valid dependent information from training. Together with asynchronous rollout generation via vLLM's continuous batching, curriculum-based opponent sampling, and multi-level stratified batch construction, this approach enables stable, sample-efficient RL training in multi-agent environments. We evaluate on the MindGames Arena benchmark at NeurIPS 2025, where a single 8-billion-parameter open-source model trained with our method matched or surpassed substantially larger proprietary systems, including GPT-5, in head-to-head play and took first place in both the Open (unrestricted) and Efficient (<=8B parameters) tracks.
• Abstract（参考訳）: マルチエージェントの戦略的相互作用のための訓練言語モデルエージェントは、中核的な困難を呈する: どんなアクションの質も、実現しない未来の出来事、ゲームルールに違反する動き、または他のプレイヤーによる決定に依存するかもしれない。 標準的な強化学習では、報酬は各ステップで割り当てられると仮定しているが、この仮定は時間とエージェントの間で結果が絡み合っている環境では失敗する。 エピソードライフサイクルと後処理のパイプラインで、エピソード終了時にのみ報酬を計算し、タスク固有のセマンティクスに従って元のステップに伝達し、トレーニングから有効な依存情報を欠くステップを除外する。 vLLMの連続バッチ処理による非同期ロールアウト生成,カリキュラムベースの反対サンプリング,マルチレベル階層化バッチ構築などとともに,マルチエージェント環境における安定したサンプル効率のRLトレーニングを実現する。 我々はNeurIPS 2025でMindGames Arenaベンチマークを評価し、GPT-5を含むより大規模なプロプライエタリシステムとマッチングまたはオーバーラップし、Open (unrestricted) とEfficient (=8Bパラメータ)の両方のトラックで第1位となった。

関連論文リスト

• Odysseus: Scaling VLMs to 100+ Turn Decision-Making in Games via Reinforcement Learning [50.464623632604976]
  本研究では,スーパーマリオランドにおける長期意思決定のための視覚言語モデル(VLM)の学習について検討する。 本稿では,軽量なターンレベルの批評家によるPPOの適応版を提案し,トレーニングの安定性とサンプル効率を大幅に向上させる。 我々は,VLMエージェントのオープントレーニングフレームワークであるOdysseusを紹介し,ゲーム内の複数のレベルにおいて,実質的なゲインを達成する。
  論文  参考訳（メタデータ） (2026-05-01T02:05:56Z)
• SWE-Shepherd: Advancing PRMs for Reinforcing Code Agents [0.31034395048547575]
  既存のアプローチは、コード編集、ファイルナビゲーション、テスト実行などのアクションを選択するための静的なプロンプト戦略や手作業に依存している。 本稿では,プロセス・リワード・モデル(Process Reward Models,PRM)を導入するフレームワークであるSWE-Shepherdを提案する。 SWE-Bench Verifiedの実験では、インタラクション効率とアクション品質の改善に加えて、中間報酬と最終タスク成功の整合性の課題も強調されている。
  論文  参考訳（メタデータ） (2026-04-12T06:51:47Z)
• ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
  ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。 我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。 実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-01-10T08:43:07Z)
• PROPA: Toward Process-level Optimization in Visual Reasoning via Reinforcement Learning [30.44007644340425]
  本稿では,モンテカルロ木探索 (MCTS) とGRPOを統合した新しいフレームワーク PROPA について紹介する。 7つのベンチマークと4つのVLMバックボーンで、PROPAはSFTとRLVRベースのベースラインを一貫して上回っている。 ドメイン内タスクで最大17.0%、ドメイン外タスクで最大21.0%のゲインを達成する。
  論文  参考訳（メタデータ） (2025-11-13T13:06:12Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Learned Controllers for Agile Quadrotors in Pursuit-Evasion Games [42.74003740156243]
  我々は,アジャイル1v1クアッドロータ追従回避の問題に対処する。 これらの問題に対処するために,非同期多段階人口ベース (AMSPB) アルゴリズムを提案する。 このフレームワークでは、ベロシティコマンドまたはボディーレートを集合推力で出力するニューラルネットワークコントローラをトレーニングします。
  論文  参考訳（メタデータ） (2025-06-03T13:19:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。