論文の概要: MA-FPPO: Multi-Agent Flow-Pretrained Policy Optimization
- arxiv url: http://arxiv.org/abs/2609.32594v1
- Date: Sat, 26 Sep 2026 13:12:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 05:38:47.839909
- Title: MA-FPPO: Multi-Agent Flow-Pretrained Policy Optimization
- Title（参考訳）: MA-FPPO:マルチエージェントフロー予測ポリシー最適化
- Abstract要約: 本研究では, オンライン微調整を用いて, 環境との新たなインタラクションを通じて, フローマッチングにより事前学習したモデルの協調行動を改善するマルチエージェントフロー事前政策最適化(MA-FPPO)を提案する。
提案手法は,30設定で最上位のオフラインベースラインに対して平均52.8%,38比較で純オンライン学習において29.8%,適合したオンライン予算と評価プロトコルに対して平均52.8%を達成している。
- 参考スコア（独自算出の注目度）: 5.90264555732059
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent flow policies learn cooperative behavior from fixed offline datasets, but often struggle to complete tasks in situations not covered by the offline data. In these situations, agents must both adapt to changes in the environment and coordinate with one another, yet action patterns learned offline are often insufficient for effective adaptation and coordination. To address this problem, we propose Multi-Agent Flow-Pretrained Policy Optimization (MA-FPPO), which uses online fine-tuning to improve the cooperative behavior of models pretrained with flow matching through new interactions with the environment. Building on the behavior learned during pretraining, we construct policies with explicit action likelihoods for discrete and continuous action spaces. We then update the pretrained model using shared team advantages to further improve coordination based on team performance. Our method achieves, on average, relative gains of 52.8% over the strongest listed offline baselines across 30 settings and 29.8% over purely online learning across 38 comparisons with matched online budgets and evaluation protocols.
- Abstract（参考訳）: マルチエージェントフローポリシーは、固定されたオフラインデータセットから協調行動を学ぶが、オフラインデータでカバーされていない状況でタスクを完了するのに苦労することが多い。
このような状況では、エージェントは環境の変化に適応し、互いに協調しなければならないが、オフラインで学習されたアクションパターンは、効果的な適応と調整には不十分であることが多い。
この問題に対処するために,オンラインファインチューニングを用いたマルチエージェントフロー事前政策最適化(MA-FPPO, Multi-Agent Flow-Pretrained Policy Optimization)を提案する。
プレトレーニング中に学んだ行動に基づいて、離散的かつ連続的な行動空間に対する明示的な行動可能性を持つポリシーを構築する。
そして、共有チームの利点を使って事前訓練されたモデルを更新し、チームのパフォーマンスに基づいた調整をさらに改善します。
提案手法は,30設定で最上位のオフラインベースラインに対して平均52.8%,38比較で純オンライン学習において29.8%,適合したオンライン予算と評価プロトコルに対して平均52.8%を達成している。
関連論文リスト
- MA-HEAD-Net: Adaptive Rule-Guided Multi-Agent DRL for AoI Minimization in UAV-Assisted Emergency Networks [71.01350912967922]
事故後のシナリオでは、無人航空機(UAV)が緊急通信ネットワークを確立する上で重要である。
本稿では,UAV支援緊急通信における情報量(AoI)の最小化について検討する。
適応型ルール誘導多エージェント深層強化学習フレームワークMA-HEAD-Netを開発した。
論文 参考訳（メタデータ） (2026-08-02T10:05:50Z) - Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models [61.74572554094633]
比クリッピングは流れモデルに不適であると主張する。
本稿では,比クリッピングを分岐近位制約に置き換えるFlow-DPPOを提案する。
実験により,フローDPPOはKL近位効率が向上し,高い報酬が得られることが示された。
論文 参考訳（メタデータ） (2026-06-09T15:59:57Z) - Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。
FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。
FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
論文 参考訳（メタデータ） (2026-05-12T17:12:29Z) - CODA: Coordination via On-Policy Diffusion for Multi-Agent Offline Reinforcement Learning [4.361377672278534]
データ拡張のための拡散型マルチエージェントトラジェクタであるCODA(On-Policy Diffusion for Multi-Agent Reinforcement Learning)を紹介する。
従来の拡散に基づく拡張アプローチは,マルチエージェント協調の促進には不十分であることがわかった。
CODAは、連続ゲームにおける標準コーディネートパスを解消するが、より複雑なMaMuJoCo連続制御ベンチマークにも強い結果をもたらす。
論文 参考訳（メタデータ） (2026-04-25T13:49:43Z) - Value-Guidance MeanFlow for Offline Multi-Agent Reinforcement Learning [42.476656442284835]
オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから最適なジョイントポリシーを学ぶことを目的としている。
本稿では,シンプルなフローベースのポリシー学習フレームワークであるValue Guidance Multi-agent MeanFlow Policy (VGM$2$P)を提案する。
VGM$2$Pは、グローバルなアドバンテージ値を使用してエージェントの協調をガイドし、最適なポリシー学習を条件付き行動クローンとして扱う。
論文 参考訳（メタデータ） (2026-04-09T12:31:43Z) - Evaluation-Time Policy Switching for Offline Reinforcement Learning [5.052293146674794]
オフライン強化学習(RL)では、環境からのインタラクションのデータセットを固定してタスクを最適に解決する方法を学ぶ。
オンライン学習のための多くの非政治アルゴリズムは、オフライン環境において、行動の分布の振る舞いを過大評価する傾向にある。
既存のオフラインRLアルゴリズムは、ポリシの制約やバリュー関数の変更といったテクニックを採用して、個々のデータセットのパフォーマンス向上を実現している。
我々は、行動改善のための純粋な非政治的RLエージェントの挙動を動的に結合するポリシー切替技術と、近くにとどまる行動的クローニング(BC)エージェントを導入する。
論文 参考訳（メタデータ） (2025-03-15T18:12:16Z) - Seldonian Reinforcement Learning for Ad Hoc Teamwork [47.100080234094065]
ほとんどのオフラインRLアルゴリズムは最適なポリシーを返すが、望ましい振る舞いに関する統計的保証は提供しない。
これにより、安全クリティカルなアプリケーションに信頼性の問題が発生する可能性がある。
セルドン最適化にインスパイアされた新しいオフラインRL手法を提案する。
論文 参考訳（メタデータ） (2025-03-05T20:37:02Z) - Offline Multi-Agent Reinforcement Learning via In-Sample Sequential Policy Optimization [8.877649895977479]
オフラインマルチエージェント強化学習(英語: offline Multi-Agent Reinforcement Learning, MARL)は、事前コンパイルされたデータセットから最適なマルチエージェントポリシーを学ぶことを目的とした新興分野である。
本研究では、既存のオフラインMARLメソッドを再検討し、特定のシナリオにおいて問題となる可能性があることを示す。
In-Sample Sequential Policy Optimization (InSPO) と呼ばれる新しいオフラインMARLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-10T16:19:08Z) - Boosting Offline Reinforcement Learning with Action Preference Query [32.94932149345299]
実践的エージェントの訓練は通常、政策のパフォーマンスと相互作用コストのバランスをとるために、オフラインおよびオンライン強化学習(RL)を含む。
オンラインファインチューニングは、オフライントレーニングフェーズで学習したアウト・オブ・ディストリビューションデータの誤った推定を補正するために一般的に用いられている方法となっている。
本研究では,Offline-with-Action-Preferences (OAP) と呼ばれるインタラクションフリーのトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-06-06T02:29:40Z) - Latent-Variable Advantage-Weighted Policy Optimization for Offline RL [70.01851346635637]
オフラインの強化学習メソッドは、新しいトランジションを環境に問い合わせる必要なしに、事前にコンパイルされたデータセットから学習ポリシーを保証します。
実際には、オフラインデータセットは、しばしば異種、すなわち様々なシナリオで収集される。
より広範な政策分布を表現できる潜在変数ポリシーを活用することを提案する。
提案手法は,次回のオフライン強化学習法の性能を,異種データセット上で49%向上させる。
論文 参考訳（メタデータ） (2022-03-16T21:17:03Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳（メタデータ） (2021-12-03T19:23:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。