論文の概要: Oryx: a Scalable Sequence Model for Many-Agent Coordination in Offline MARL

• arxiv url: http://arxiv.org/abs/2505.22151v2
• Date: Thu, 30 Oct 2025 09:26:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.318945
• Title: Oryx: a Scalable Sequence Model for Many-Agent Coordination in Offline MARL
• Title（参考訳）: Oryx: オフラインMARLにおける多エージェントコーディネーションのためのスケーラブルシーケンスモデル
• Authors: Claude Formanek, Omayma Mahjoub, Louay Ben Nessir, Sasha Abramowitz, Ruan de Kock, Wiem Khlifi, Daniel Rajaonarivonivelomanantsoa, Simon Du Toit, Arnol Fokam, Siddarth Singh, Ulrich Mbou Sob, Felix Chalumeau, Arnu Pretorius,
• Abstract要約: オフラインマルチエージェント強化学習(MARL)における鍵となる課題は、複雑な環境で効果的なマルチエージェント多段階協調を実現することである。 この課題に対処するために,オフライン協調型MARLのための新しいアルゴリズムであるOryxを提案する。 Oryxは65のテストデータセットの80%以上で最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 3.9121536945213466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key challenge in offline multi-agent reinforcement learning (MARL) is achieving effective many-agent multi-step coordination in complex environments. In this work, we propose Oryx, a novel algorithm for offline cooperative MARL to directly address this challenge. Oryx adapts the recently proposed retention-based architecture Sable and combines it with a sequential form of implicit constraint Q-learning (ICQ), to develop a novel offline autoregressive policy update scheme. This allows Oryx to solve complex coordination challenges while maintaining temporal coherence over long trajectories. We evaluate Oryx across a diverse set of benchmarks from prior works -- SMAC, RWARE, and Multi-Agent MuJoCo -- covering tasks of both discrete and continuous control, varying in scale and difficulty. Oryx achieves state-of-the-art performance on more than 80% of the 65 tested datasets, outperforming prior offline MARL methods and demonstrating robust generalisation across domains with many agents and long horizons. Finally, we introduce new datasets to push the limits of many-agent coordination in offline MARL, and demonstrate Oryx's superior ability to scale effectively in such settings.
• Abstract（参考訳）: オフラインマルチエージェント強化学習(MARL)における鍵となる課題は、複雑な環境で効果的なマルチエージェント多段階協調を実現することである。 本研究では,オフライン協調型MARLのための新しいアルゴリズムであるOryxを提案する。 Oryxは、最近提案されたRetention-based Architecture Sableに適応し、暗黙の制約Q学習(ICQ)のシーケンシャルな形式と組み合わせ、新しいオフライン自動回帰ポリシー更新スキームを開発する。 これにより、オリックスは長い軌道上の時間的コヒーレンスを維持しながら複雑な協調問題を解くことができる。 従来の作業 – SMAC,RWARE,Multi-Agent MuJoCo – から,さまざまなベンチマークセットにわたって,Oryxを評価した。 Oryxは65のテストデータセットの80%以上で最先端のパフォーマンスを実現し、以前のオフラインMARLメソッドよりも優れ、多くのエージェントと長い水平線を持つドメイン間の堅牢な一般化を実証している。 最後に、オフラインMARLにおける多エージェント調整の限界を押し上げるために、新しいデータセットを導入し、そのような設定で効果的にスケールできるOryxの優れた能力を示す。

関連論文リスト

• MAGE: Multi-scale Autoregressive Generation for Offline Reinforcement Learning [42.779100789823055]
  マルチスケール自動回帰GEnerationに基づくオフラインRL法であるMAGEを提案する。 MAGEは条件付きマルチスケールオートエンコーダを組み込んで階層的軌道表現を学習する。 実験の結果,MAGEはマルチスケールの軌道モデリングと条件付き誘導をうまく統合できることがわかった。
  論文  参考訳（メタデータ） (2026-02-27T07:56:33Z)
• ComAgent: Multi-LLM based Agentic AI Empowered Intelligent Wireless Networks [62.031889234230725]
  6Gネットワークは複雑な層間最適化に依存している。 数学の定式化に高レベルの意図を手動で翻訳することは、まだボトルネックである。 我々はマルチLLMエージェントAIフレームワークであるComAgentを紹介する。
  論文  参考訳（メタデータ） (2026-01-27T13:43:59Z)
• Multi-Agent Craftax: Benchmarking Open-Ended Multi-Agent Reinforcement Learning at the Hyperscale [53.08403177911567]
  textitCraftax-MAは、人気のあるオープンエンドRL環境であるCraftaxの拡張である。 textitCraftax-Coopは異質なエージェント、トレーディング、さらに多くのメカニクスを導入し、エージェント間の複雑な協力を必要としている。
  論文  参考訳（メタデータ） (2025-11-07T01:09:36Z)
• Multi-Action Self-Improvement for Neural Combinatorial Optimization [0.979731979071071]
  自己改善モデルは、高品質なソリューションの生成と模倣によってポリシーを反復的に洗練する。 これらのアプローチは、複数のエージェントの協調に関わる問題の構造を活用できない。 共同マルチエージェント動作による自己改善を拡大する。
  論文  参考訳（メタデータ） (2025-10-14T08:26:27Z)
• Multi-Agent Collaboration via Evolving Orchestration [55.574417128944226]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な成果を上げているが、そのモノリシックな性質は複雑な問題解決におけるスケーラビリティと効率を制限している。 LLMに基づくマルチエージェントコラボレーションのためのパウチスタイルのパラダイムを提案し,タスク状態の進化に応じて,中央集権的なオーケストレータ("puppeteer")がエージェント("puppets")を動的に指示する。 クローズドドメインおよびオープンドメインシナリオの実験により,この手法は計算コストを低減し,優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-05-26T07:02:17Z)
• SPECTra: Scalable Multi-Agent Reinforcement Learning with Permutation-Free Networks [3.7687375904925484]
  協調型マルチエージェント強化学習(MARL)では, エージェント数とともに状態空間が指数関数的に増大する置換問題により, サンプル効率が低下する。 本稿では,置換等価性とスケーラビリティを保証する新しいエージェントネットワークと非線形ミキシングネットワークを提案する。 提案手法は既存の手法に比べて優れた学習性能を実現する。
  論文  参考訳（メタデータ） (2025-03-14T04:26:51Z)
• Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback [52.763620660061115]
  ONIは、RLポリシーと本質的な報酬関数を同時に学習する分散アーキテクチャである。 我々は、様々な複雑さを持つ報酬モデリングのためのアルゴリズムの選択範囲を探索する。 提案手法は,NetHack Learning Environment の様々な課題にまたがって,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-30T13:52:43Z)
• Sports-Traj: A Unified Trajectory Generation Model for Multi-Agent Movement in Sports [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを紹介する。 バスケットボールU,サッカーU,サッカーUの3つの実践的スポーツデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• Variational Offline Multi-agent Skill Discovery [47.924414207796005]
  本稿では,サブグループレベルの抽象化と時間レベルの抽象化を同時に取得し,マルチエージェントスキルを形成するための2つの新しい自動エンコーダ方式を提案する。 提案手法はオフラインのマルチタスクデータに適用可能であり,検出したサブグループスキルは再学習することなく,関連するタスク間で伝達可能である。 StarCraftタスクに対する実証的な評価は、既存の階層型マルチエージェント強化学習(MARL)法よりもはるかに優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-26T00:24:46Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Scalable Multi-agent Covering Option Discovery based on Kronecker Graphs [49.71319907864573]
  本稿では,分解が容易なマルチエージェントスキル発見法を提案する。 我々のキーとなる考え方は、合同状態空間をクロネッカーグラフとして近似することであり、そのフィドラーベクトルを直接見積もることができる。 ラプラシアンスペクトルを直接計算することは、無限大の状態空間を持つタスクには難易度が高いことを考慮し、さらに本手法の深層学習拡張を提案する。
  論文  参考訳（メタデータ） (2023-07-21T14:53:12Z)
• MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
  MADiffは拡散型マルチエージェント学習フレームワークである。 分散ポリシと集中型コントローラの両方として機能する。 実験の結果,MADiffは様々なマルチエージェント学習タスクにおいて,ベースラインアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-27T02:14:09Z)
• A Model-Based Solution to the Offline Multi-Agent Reinforcement Learning Coordination Problem [22.385585755496116]
  既存のMARL(Multi-Agent Reinforcement Learning)手法はオンラインであり,新たなインタラクションの収集に費用がかかる,あるいは危険である実世界のアプリケーションには実用的ではない。 戦略合意(SA)と戦略細調整(SFT)の調整課題を特定し,定式化する。 MOMA-PPO (Model-based Offline Multi-Agent Proximal Policy Optimization) は,合成相互作用データを生成し,エージェントがポリシーを微調整しながら戦略に収束することを可能にするアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-26T18:43:16Z)
• Believe What You See: Implicit Constraint Approach for Offline Multi-Agent Reinforcement Learning [16.707045765042505]
  現在のオフラインRLアルゴリズムは、累積外挿誤差のため、マルチエージェントシステムでは有効ではない。 本稿では,外挿誤差を効果的に軽減する新しいオフラインRLアルゴリズム,Implicit Constraint Q-learning (ICQ)を提案する。 実験結果から, 外挿誤差はほぼゼロに減少し, エージェント数に敏感であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-07T08:02:31Z)
• Unsupervised and self-adaptative techniques for cross-domain person re-identification [82.54691433502335]
  非重複カメラにおける人物再識別(ReID)は難しい課題である。 Unsupervised Domain Adaptation(UDA)は、ソースで訓練されたモデルから、IDラベルアノテーションなしでターゲットドメインへの機能学習適応を実行するため、有望な代替手段です。 本稿では,新しいオフライン戦略によって生成されたサンプルのトリプレットを利用する,UDAベースのReID手法を提案する。
  論文  参考訳（メタデータ） (2021-03-21T23:58:39Z)
• Scalable Anytime Planning for Multi-Agent MDPs [37.69939216970677]
  動的協調を必要とする大規模マルチエージェント連続的決定問題に対するスケーラブルな木探索計画アルゴリズムを提案する。 提案アルゴリズムは,モンテカルロ木探索 (MCTS) を用いたオンライン計画,協調グラフを用いた局所エージェント相互作用の因子表現,および協調行動選択のための反復マックスプラス法からなる。
  論文  参考訳（メタデータ） (2021-01-12T22:50:17Z)
• A Cordial Sync: Going Beyond Marginal Policies for Multi-Agent Embodied Tasks [111.34055449929487]
  エージェントが協力して家具をリビングルームに移動させるという,新しいタスクFurnMoveを紹介した。 既存のタスクとは異なり、FurnMoveはエージェントが各タイミングで調整する必要がある。 既存の分散化されたアクションサンプリング手順は、表現力のある共同アクションポリシーを許さない。 SynC-policiesとCORDIALを用いて、我々のエージェントはFurnMoveで58%の完成率を達成する。
  論文  参考訳（メタデータ） (2020-07-09T17:59:57Z)
• Dynamic Multi-Robot Task Allocation under Uncertainty and Temporal Constraints [52.58352707495122]
  本稿では,不確実性およびマルチエージェント協調の下での逐次意思決定における重要な計算課題を分離するマルチロボット割当アルゴリズムを提案する。 都市におけるマルチアームコンベヤベルトピック・アンド・プレイスとマルチドローン配送ディスパッチの2つの異なる領域における広範囲なシミュレーション結果について検証を行った。
  論文  参考訳（メタデータ） (2020-05-27T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。