論文の概要: G2MAF: Test-Time Gradient Guidance for Multi-Agent Flow Policies

• arxiv url: http://arxiv.org/abs/2609.31286v1
• Date: Fri, 25 Sep 2026 13:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.415412
• Title: G2MAF: Test-Time Gradient Guidance for Multi-Agent Flow Policies
• Title（参考訳）: G2MAF:マルチエージェントフローポリシのテスト時間勾配ガイダンス
• Abstract要約: オフラインマルチエージェント強化学習は、環境相互作用を伴わない固定データセットから協調ポリシーを学習する。 このようなフリーズポリシは通常、単一のジョイントアクションを提案し、デプロイ時に直接実行する。 本稿では,テスト時に協調ポリシーを最適化するための改良フレームワークであるグラディエントガイドマルチエージェントフロー(G2MAF)を提案する。
• 参考スコア（独自算出の注目度）: 4.235592896468053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline multi-agent reinforcement learning (MARL) learns cooperative policies from fixed datasets without further environment interaction and a learned policy is frozen at deployment. Such a frozen policy typically proposes a single joint action and executes it directly at deployment time. However, this one-shot deployment often commits to a suboptimal proposal, even when better nearby alternatives remain consistent with the behavior data. To address this issue, we propose Gradient Guided Multi Agent Flow (G2MAF), a refinement framework for optimizing joint policies at test-time. G2MAF applies one globally normalized, projected critic gradient to guide and coordinate all agents' corrections while keeping the action both feasible and close to the frozen policy proposal. Across 24 MPE and SMAC settings, its canonical variant improves 20 frozen settings, with mean relative gains of 9.2% on MPE and 8.9% on SMAC, with model inference latency increased by about 6% only.
• Abstract（参考訳）: オフラインマルチエージェント強化学習 (MARL) は, 環境相互作用を伴わない固定データセットから協調ポリシを学習し, 展開時に学習ポリシを凍結する。 このようなフリーズポリシは通常、単一のジョイントアクションを提案し、デプロイ時に直接実行する。 しかしながら、このワンショットのデプロイメントは、より近い代替案が動作データと整合性を維持している場合でも、亜最適の提案にコミットすることが多い。 この問題に対処するため,テスト時に共同政策を最適化するための改良フレームワークであるG2MAFを提案する。 G2MAFは、すべてのエージェントの修正をガイドし、調整するために、グローバルに正規化された1つの批判的勾配を適用します。 24のMPEとSMAC設定で、標準の変種は20の凍結設定を改善し、MPEでは9.2%、SMACでは8.9%、モデル推論遅延は6%程度増加した。

関連論文リスト

• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)
• Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies [3.5253513747455303]
  独立政策勾配アルゴリズムは、協調型・非競合型ゲームにおけるマルチエージェント強化学習(MARL)に広く用いられている。 これらは、各エージェントのポリシー勾配が準最適均衡に向かっているときに、亜最適収束することが知られている。 共同サンプリング誤差を低減するための適応的な動作サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2025-08-01T20:07:25Z)
• Policy Optimization and Multi-agent Reinforcement Learning for Mean-variance Team Stochastic Games [1.430310470698995]
  長期平均分散チームゲーム(MV-TSG)について検討する。 MV-TSGの主な課題は2つある。第一に、分散計量は動的条件下では加法的でもマルコフ的でもない。 逐次更新方式を用いた平均分散マルチエージェントポリシー反復 (MV-MAPI) アルゴリズムを提案する。 定常点の特定の条件をナッシュ平衡とし、さらに厳密な局所最適条件を導出する。
  論文  参考訳（メタデータ） (2025-03-28T16:21:05Z)
• Towards Fast Rates for Federated and Multi-Task Reinforcement Learning [34.34798425737858]
  我々は、慎重に設計されたバイアス補正機構を備えた新しいフェデレーションポリシーアルゴリズムであるFast-FedPGを提案する。 勾配支配条件下では,本アルゴリズムは (i) 厳密な勾配で高速な線形収束を保証し, (ii) 雑音に富んだ政策勾配を持つエージェントの数に比例して線形スピードアップを楽しむサブ線形速度を保証している。
  論文  参考訳（メタデータ） (2024-09-09T02:59:17Z)
• Optimistic Multi-Agent Policy Gradient [37.08607405659866]
  相対的過一般化 (Relative Over generalization, RO) は、エージェントが準最適結合ポリシーに向かって収束する際に起こる。 マルチエージェントポリシー勾配(MAPG)法では,ROに対処する手法は提案されていない。 本稿では,RO問題を緩和するMAPG手法の楽観的な更新を可能にする,汎用的でシンプルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-03T14:47:54Z)
• Offline Imitation Learning with Suboptimal Demonstrations via Relaxed Distribution Matching [109.5084863685397]
  オフライン模倣学習(IL)は、環境と相互作用することなく、事前にコンパイルされたデモからパフォーマンスポリシーを学習する機能を提供する。 非対称な f-分割を明示的なサポート正規化に用いたRelaxDICEを提案する。 提案手法は,6つの標準連続制御環境において,最上位のオフライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-03-05T03:35:11Z)
• Global Convergence of Policy Gradient for Linear-Quadratic Mean-Field Control/Game in Continuous Time [109.06623773924737]
  線形二乗平均場制御とゲームに対するポリシー勾配法について検討する。 線形速度で最適解に収束し, 合成シミュレーションにより検証した。
  論文  参考訳（メタデータ） (2020-08-16T06:34:11Z)
• FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
  FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。 離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。 我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
  論文  参考訳（メタデータ） (2020-03-14T21:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。