Fugu-MT 論文翻訳(概要): HyPOLE: Hyperproperty-Guided Multi-Agent Reinforcement Learning under Partial Observation

論文の概要: HyPOLE: Hyperproperty-Guided Multi-Agent Reinforcement Learning under Partial Observation

arxiv url: http://arxiv.org/abs/2606.30966v1
Date: Mon, 29 Jun 2026 23:03:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-01 18:27:19.027064
Title: HyPOLE: Hyperproperty-Guided Multi-Agent Reinforcement Learning under Partial Observation
Title（参考訳）: HyPOLE: 部分観察による多エージェント強化学習
Abstract要約: 本稿では,MARL(Multi-Agent Reinforcement Learning)のための新しいフレームワークであるHyPOLEを紹介する。我々は、分散実行のためのハイパートレーニング(CTDE)技術をHyPOLEと統合し、分散ポリシーを合成する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Formal specification is a powerful tool to guide the learning process and provides significant advantages over reward shaping: (1) mathematical rigor; (2) expressiveness to specify objectives and constraints, and (3) the ability to define tactics to achieve objectives. However, these benefits remain largely unexplored in the context of Multi-Agent Reinforcement Learning (MARL). This paper introduces HyPOLE, a novel framework for MARL under partial observability, where learning is guided by the expressive power of the so-called hyperproperties and, in particular, the temporal logic HyperLTL. We integrate Centralized Training for Decentralized Execution (CTDE) techniques with HyPOLE to synthesize decentralized policies, and our evaluation on SMAC, MessySMAC, and WildFire benchmark demonstrates clear advantages over baselines.
Abstract（参考訳）: 形式的仕様は学習過程をガイドする強力なツールであり,(1)数学的厳密さ,(2)目的と制約を規定する表現性,(3)目的を達成するための戦術を定義する能力など,報酬形成よりも大きな優位性を提供する。しかし、これらの利点は、MARL(Multi-Agent Reinforcement Learning)の文脈においてほとんど解明されていない。本稿では,HyPOLEについて紹介する。HyPOLEは部分観測可能性下でのMARLのための新しいフレームワークであり,学習はいわゆるハイパープロパタイトの表現力,特に時間論理HyperLTLによって誘導される。我々は,集中型分散実行訓練(CTDE)技術をHyPOLEと統合して分散ポリシを合成し,SMAC,MessySMAC,WildFireベンチマークによる評価により,ベースラインよりも明確な優位性を示す。

関連論文リスト

UniER: A Unified Benchmark for Item-level and Path-level Exercise Recommendation [53.62147575168325]
We present a Unified Benchmark for Exercise Recommendation (UniER) UniERは、ILERとPLERを統合する包括的な評価フレームワークである。本研究は, pleRの系統的優位性を明らかにするとともに, ILERのフラグメントドレコメンデーションの教育的失敗を明らかにするものである。
論文参考訳（メタデータ） (2026-05-16T02:07:58Z)
Preference-Guided Learning for Sparse-Reward Multi-Agent Reinforcement Learning [15.034714081414691]
少額の報酬のある環境におけるオンラインマルチエージェント強化学習(MARL)の課題について検討する。中間報酬の欠如は、標準のMARLアルゴリズムがポリシー学習を効果的に導くのを妨げる。本稿では,オンライン・逆選好学習とマルチエージェント・オン・ポリシー最適化を統合した新しいフレームワークを提案する。
論文参考訳（メタデータ） (2025-09-26T03:41:40Z)
Learning to Deliberate: Meta-policy Collaboration for Agentic LLMs with Multi-agent Reinforcement Learning [13.9097452260769]
エージェントは高レベルなメタ認知行動を通じて分散政策を学習する。我々は,新しい強化学習アルゴリズムであるSoftRankPOを開発した。
論文参考訳（メタデータ） (2025-09-04T02:06:06Z)
The Landscape of Agentic Reinforcement Learning for LLMs: A Survey [103.32591749156416]
エージェント強化学習(Agentic RL)の出現は、大規模言語モデル(LLM RL)に適用された従来の強化学習からパラダイムシフトを示している。本研究では, LLM-RLの縮退した単段階マルコフ決定過程(MDPs)と, エージェントRLを定義する部分可観測マルコフ決定過程(POMDPs)とを対比することにより, この概念シフトを定式化する。
論文参考訳（メタデータ） (2025-09-02T17:46:26Z)
Decomposing the Entropy-Performance Exchange: The Missing Keys to Unlocking Effective Reinforcement Learning [106.68304931854038]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の推論能力を高めるために広く用いられている。我々は,RLVRのエントロピー・パフォーマンス交換機構を,異なるレベルの粒度で系統的に解析する。分析の結果, 上昇段階において, 負のサンプルのエントロピー減少は効果的な推論パターンの学習を促進することが明らかとなった。プラトー段階では、学習効率は、低エントロピーのサンプルに存在する高エントロピートークンと、シーケンスの終端に位置するトークンと強く相関する。
論文参考訳（メタデータ） (2025-08-04T10:08:10Z)
Training Large Language Models to Reason via EM Policy Gradient [0.27195102129094995]
LLM推論を強化するために、政治以外の強化学習アルゴリズムEM Policy Gradientを導入する。 GSM8KとMATH(HARD)データセットに対するEM Policy Gradientの有効性を評価する。本手法で微調整したモデルでは, サブプロブレム分解, 自己検証, バックトラッキングなどの認知行動を示す。
論文参考訳（メタデータ） (2025-04-24T01:31:05Z)
HypRL: Reinforcement Learning of Control Policies for Hyperproperties [0.0]
仕様誘導型強化学習フレームワークHYPRLを提案する。我々はSkolemizationを適用して量化器の変質を管理し、報酬を形作る定量的関数を定義する。次に、適切なRLアルゴリズムを用いて、期待される報酬を最大化するポリシーを学ぶ。
論文参考訳（メタデータ） (2025-04-07T01:58:36Z)
From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
Fault Tolerant ML: Efficient Meta-Aggregation and Synchronous Training [8.419845742978985]
分散機械学習(ML)システムにおけるビザンチン・ロバスト学習の挑戦的枠組みについて検討する。最初のコントリビューションは,ベースラインアグリゲータを最適なパフォーマンスレベルにアップグレードする,効率的なメタアグリゲータの導入です。本稿では,ビザンチン・ロバスト訓練の理論的および実践的優位性,特にチューニングプロセスの簡略化について述べる。
論文参考訳（メタデータ） (2024-05-23T16:29:30Z)
MA2CL:Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning [128.19212716007794]
我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。 MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
論文参考訳（メタデータ） (2023-06-03T05:32:19Z)
Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文参考訳（メタデータ） (2020-10-06T16:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。