論文の概要: HySTAR: Anchored Hypergraphs for Stable Credit Assignment in Cooperative Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.31531v1
- Date: Fri, 25 Sep 2026 17:06:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.498811
- Title: HySTAR: Anchored Hypergraphs for Stable Credit Assignment in Cooperative Multi-Agent Reinforcement Learning
- Title(参考訳): HySTAR: 協調型マルチエージェント強化学習における安定的なクレジット割り当てのためのハイパーグラフ
- Abstract要約: HySTARはMAPPOベースのフレームワークで、適応表現学習を時間的に一貫した高次値分解ベースから分離する。
SMAC、GRF、Traffic Junction、MPEの実験ではMAPPOスタイル、値分解、動的グループ化ベースラインよりも一貫した改善が示されている。
- 参考スコア(独自算出の注目度): 3.062688724018454
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cooperative multi-agent reinforcement learning under partial observability and shared rewards requires assigning team outcomes to individual agents and high-order coalitions. A MAPPO-style critic compresses joint behavior into one global value, while critics that dynamically reconstruct the grouping topology change the mapping from agents and coalitions to value components as interactions or active agents evolve. We refer to this inconsistency as structural target drift. We introduce HySTAR, a MAPPO-based framework that separates adaptive representation learning from a temporally consistent high-order value-decomposition basis. HySTAR anchors an overlapping sparse hypergraph as a uniformly covered decomposition scaffold, uses a spatiotemporal encoder to represent physical and task-dependent interactions, and combines temporal and structural relevance to construct agent-specific advantages. Experiments on SMAC, GRF, Traffic Junction, and MPE demonstrate consistent improvements over MAPPO-style, value-factorization, and dynamic-grouping baselines. On the hardest SMAC settings, HySTAR achieves relative gains of 16.7\% over MAPPO and 15.6\% over HYGMA, ranks first on all six GRF scenarios, reduces Traffic Junction convergence epochs by up to 40.2\% relative to MAGIC, and obtains the highest MPE episode rewards. Controlled topology, agent-death, neighborhood, and parameter analyses support the benefit of anchoring the decomposition scaffold while adapting the propagated representations.
- Abstract(参考訳): 部分的可観測性と共有報酬の下での協調的マルチエージェント強化学習では、個々のエージェントと高次の連立にチームの成果を割り当てる必要がある。
MAPPOスタイルの批評家は、共同行動が一つのグローバルな価値に圧縮される一方で、グループ化トポロジーを動的に再構築すると、相互作用やアクティブなエージェントが進化するにつれて、エージェントや連立からバリューコンポーネントへのマッピングが変化すると批判している。
この矛盾を構造的ターゲットドリフトと呼ぶ。
本稿では,適応表現学習を時間的に一貫した高次値分解ベースから分離するMAPPOベースのフレームワークであるHySTARを紹介する。
HySTARは、重なり合うスパースハイパーグラフを一様に被覆された分解足場として固定し、時空間エンコーダを使用して物理的およびタスク依存的な相互作用を表現し、時間的および構造的関連性を組み合わせてエージェント固有の利点を構築する。
SMAC、GRF、Traffic Junction、MPEの実験はMAPPOスタイル、値分解、動的グループ化ベースラインよりも一貫した改善を示している。
最も難しいSMAC設定では、HySTARはMAPPOよりも16.7\%、HYGMAより15.6\%の相対的なゲインを達成し、6つのGRFシナリオで第1位を獲得し、MAGICと比較して交通ジャンクション収束のエポックを最大40.2\%減らし、MPEエピソードの最高報酬を得る。
制御された位相、エージェント死、近傍、パラメータ分析は、伝播表現を適応させながら分解足場をアンカーする利点を支持する。
関連論文リスト
- Beyond the Aggregation Dilemma: Prior-Retaining Decoupled Learning for Multimodal Graphs [69.56407708794845]
MultimodalAttributed Graph Learning (MAGL)はグラフアグリゲーションを通じてノード属性と構造トポロジーを統合する。
事前訓練されたエンコーダがLarge Foundation Models (LFM) へと進化するにつれて、MAGLのランドスケープは根本的に変化していく。
高信頼のLFM先行の下では、強制集約は、識別シグナルを圧倒するトポロジカル固有のノイズを導入する。
本稿では、分離されたデュアルパスパラダイムであるSUPRA(Shared-Unique Prior-Retaining Architecture)を提案する。
SUPRAは、トポロジ・アグノシクスによるモーダリティ特異的な特徴を処理し、軽量共有GNNを介して構造相乗効果を捉え、補助的な深層監視対策の勾配飢餓を発生させる。
論文 参考訳(メタデータ) (2026-05-23T17:42:25Z) - Quantifying Cross-Modal Interactions in Multimodal Glioma Survival Prediction via InterSHAP: Evidence for Additive Signal Integration [0.0]
がん予後のためのマルチモーダルディープラーニングは、相乗的相互モーダル相互作用の恩恵を受けると一般的に考えられている。
この研究は、シャプリー相互作用指標に基づく指標であるInterSHAPを適用し、グリオーマ生存予測における相互モーダル相互作用を定量化する。
論文 参考訳(メタデータ) (2026-03-31T16:39:56Z) - GRCF: Two-Stage Groupwise Ranking and Calibration Framework for Multimodal Sentiment Analysis [20.77940776708036]
ペアワイズな順序学習フレームワークは、比較から学ぶことで相対的な順序を捉える。
彼らは全ての比較に均一な重要性を割り当て、ハード・ツー・ランクのサンプルに適応的に焦点をあてることに失敗した。
本稿では,グループ相対的政策最適化の理念を取り入れた二段階群ランク付け・フレームワークを提案する。
GRCFは、コア回帰ベンチマークで最先端のパフォーマンスを達成すると同時に、分類タスクにおいて強力な一般化性を示す。
論文 参考訳(メタデータ) (2026-01-14T16:26:44Z) - Orchestrating Tokens and Sequences: Dynamic Hybrid Policy Optimization for RLVR [31.43482175098666]
Reinforcement Learning with Verifiable Rewards (RLVR)は,大規模言語モデルを推論タスクで最適化するための,有望なフレームワークを提供する。
既存のRLVRアルゴリズムは様々な粒度に重点を置いており、それぞれに相補的な強度と制限がある。
本稿では, GRPO と GSPO を単一のクリッピングサロゲート対象にブリッジする動的ハイブリッドポリシー最適化 (DHPO) を提案する。
論文 参考訳(メタデータ) (2026-01-09T07:57:40Z) - Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。
スパース端末の報酬を密度の高いプロセス認識値推定に変換する。
標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文 参考訳(メタデータ) (2025-12-13T16:31:26Z) - ReCollab: Retrieval-Augmented LLMs for Cooperative Ad-hoc Teammate Modeling [2.1130419553264015]
アドホックなチームワークでは、エージェントが以前見つからなかったチームメイトの振る舞いを推測し、それに応じてポリシーを適用する必要があります。
トラジェクティブ機能から派生した振る舞いを用いて、パートナータイプを分類する言語ベースのフレームワークであるCollabを紹介する。
検索拡張生成(RAG)を組み込んだReCollabに拡張して,トラジェクトリによる推論を安定化する。
論文 参考訳(メタデータ) (2025-12-05T12:33:11Z) - Hybrid-Collaborative Augmentation and Contrastive Sample Adaptive-Differential Awareness for Robust Attributed Graph Clustering [29.83560851166928]
HCA(Hybrid-Collaborative Augmentation)とCSADA(Contrative Adaptive-differential Recognition)を組み合わせた新しいロバスト属性グラフクラスタリング(RAGC)を提案する。
6つのベンチマークデータセットに対する総合的なグラフクラスタリング評価は、いくつかの最先端CAGC手法に対して提案されたRAGCの有効性を示す。
論文 参考訳(メタデータ) (2025-10-03T05:30:55Z) - BranchGRPO: Stable and Efficient GRPO with Structured Branching in Diffusion Models [57.304411396229035]
BranchGRPOは、ロールアウトプロセスを分岐木に再構成する手法である。
HPDv2.1イメージアライメントでは、BranchGRPOはDanceGRPOよりも最大でtextbf16%のアライメントスコアを改善する。
ハイブリッド版であるBranchGRPO-MixはDanceGRPOよりも4.7倍の速度でトレーニングを加速する。
論文 参考訳(メタデータ) (2025-09-07T12:53:06Z) - Plug-and-Play Regulators for Image-Text Matching [76.28522712930668]
微細な対応と視覚的セマンティックなアライメントの爆発は、画像とテキストのマッチングにおいて大きな可能性を秘めている。
我々は、メッセージ出力を効率的にエンコードして、コンテキストを自動生成し、モーダル表現を集約する、シンプルだが非常に効果的な2つのレギュレータを開発した。
MSCOCOとFlickr30Kデータセットの実験は、複数のモデルで印象的で一貫したR@1ゲインをもたらすことができることを実証している。
論文 参考訳(メタデータ) (2023-03-23T15:42:05Z) - CoADNet: Collaborative Aggregation-and-Distribution Networks for
Co-Salient Object Detection [91.91911418421086]
Co-Salient Object Detection (CoSOD)は、2つ以上の関連する画像を含む所定のクエリグループに繰り返し現れる健全なオブジェクトを発見することを目的としている。
課題の1つは、画像間の関係をモデリングし、活用することによって、コ・サリヤ・キューを効果的にキャプチャする方法である。
我々は,複数画像から有能かつ反復的な視覚パターンを捉えるために,エンドツーエンドの協調集約配信ネットワーク(CoADNet)を提案する。
論文 参考訳(メタデータ) (2020-11-10T04:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。