論文の概要: HALyPO: Heterogeneous-Agent Lyapunov Policy Optimization for Human-Robot Collaboration

• arxiv url: http://arxiv.org/abs/2603.03741v1
• Date: Wed, 04 Mar 2026 05:26:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.186482
• Title: HALyPO: Heterogeneous-Agent Lyapunov Policy Optimization for Human-Robot Collaboration
• Title（参考訳）: HALyPO:人間-ロボット協調のための不均一なリアプノフ政策最適化
• Authors: Hao Zhang, Yaru Niu, Yikai Wang, Ding Zhao, H. Eric Tseng,
• Abstract要約: ヘテロジニアスエージェントのリアプノフ政策最適化(HALyPO)を提案する。 HALyPOは、分散政策学習の安定化にLyapunov認証を使用している。 この証明された安定性は、コラボレーティブコーナーケースにおける一般化とロバスト性を改善することを示す。
• 参考スコア（独自算出の注目度）: 37.15750888195892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To improve generalization and resilience in human-robot collaboration (HRC), robots must handle the combinatorial diversity of human behaviors and contexts, motivating multi-agent reinforcement learning (MARL). However, inherent heterogeneity between robots and humans creates a rationality gap (RG) in the learning process-a variational mismatch between decentralized best-response dynamics and centralized cooperative ascent. The resulting learning problem is a general-sum differentiable game, so independent policy-gradient updates can oscillate or diverge without added structure. We propose heterogeneous-agent Lyapunov policy optimization (HALyPO), which establishes formal stability directly in the policy-parameter space by enforcing a per-step Lyapunov decrease condition on a parameter-space disagreement metric. Unlike Lyapunov-based safe RL, which targets state/trajectory constraints in constrained Markov decision processes, HALyPO uses Lyapunov certification to stabilize decentralized policy learning. HALyPO rectifies decentralized gradients via optimal quadratic projections, ensuring monotonic contraction of RG and enabling effective exploration of open-ended interaction spaces. Extensive simulations and real-world humanoid-robot experiments show that this certified stability improves generalization and robustness in collaborative corner cases.
• Abstract（参考訳）: ヒューマンロボットコラボレーション(HRC)の一般化とレジリエンスを改善するため、ロボットは人間行動とコンテキストの組合せ多様性を扱い、マルチエージェント強化学習(MARL)を動機付けなければならない。 しかし、ロボットと人間の固有の異質性は、学習過程における合理性ギャップ(RG)を生み出す。 結果として生じる学習問題は、一般的な相違可能なゲームであるので、独立したポリシー段階の更新は、構造を追加することなく、振動したり、分岐したりすることができる。 本研究では,パラメータ空間不一致距離に対して,段階ごとのリャプノフ減少条件を強制することにより,政策パラメータ空間内での形式的安定性を確立するヘテロジニアス・アジェント・リャプノフ政策最適化(HALyPO)を提案する。 制約付きマルコフ決定プロセスにおける状態/軌道制約を目標とするリャプノフベースの安全なRLとは異なり、HALyPOはリアプノフ認証を使用して分散政策学習を安定化する。 HALyPOは、最適二次射影によって分散勾配を修正し、RGの単調な収縮を確実にし、オープンな相互作用空間の効率的な探索を可能にする。 大規模なシミュレーションと実世界のヒューマノイドロボット実験は、この証明された安定性がコラボレーティブコーナーケースの一般化と堅牢性を改善することを示した。

関連論文リスト

• Heterogeneous Agent Collaborative Reinforcement Learning [52.99813668995983]
  不均一エージェント協調強化学習(HACRL) 本稿では,このパラダイムに基づいて,サンプル利用とエージェント間の知識伝達を最大化するために,原則的なロールアウト共有を可能にする協調RLアルゴリズムであるHACPOを提案する。 多様な異種モデルの組み合わせと推論ベンチマークによる実験により、HACPOはすべてのエージェントを一貫して改善し、GSPOを平均3.3%上回り、ロールアウトコストの半分しか使っていないことが示された。
  論文  参考訳（メタデータ） (2026-03-03T05:09:49Z)
• Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
  CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。 ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-02-22T07:23:36Z)
• On the Plasticity and Stability for Post-Training Large Language Models [54.757672540381236]
  塑性と安定性勾配の矛盾として根本原因を同定する。 本稿では,確率的衝突解決法(PCR)を提案する。 PCRはトレーニングの軌道を著しく滑らかにし、様々な推論タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-06T07:31:26Z)
• Stratified GRPO: Handling Structural Heterogeneity in Reinforcement Learning of LLM Search Agents [90.45197506653341]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップ問題を解決するために、検索エンジンのような外部ツールに依存している。 サーチエージェントの軌道は構造的に不均一であり、サーチコールの数、配置、結果の変動は、根本的に異なる応答方向と報酬分布をもたらす。 1つのグローバルベースラインを使用する標準方針勾配法は、私たちが認識し、層間バイアスとして定式化するものに苦しむ。 本稿では,SAN (Stratified Advantage Normalization) の中心成分であるStratified GRPOを提案する。
  論文  参考訳（メタデータ） (2025-10-07T17:59:13Z)
• Multi-Agent Trust Region Policy Optimisation: A Joint Constraint Approach [17.48210470289556]
  Heterogeneous-Agent Trust Region Policy Optimization (HATRPO) は、Kulback-Leibler (KL) の分散を用いて、訓練の安定化を図る。 各エージェントを同じKL閾値に割り当てると、特に不均一な設定において、遅くて局所的に最適な更新につながる可能性がある。 エージェント間のKL分散しきい値の割当には,グローバルなKL制約下でのしきい値割り当てを最適化するKKT法であるHATRPO-Wと,改善に基づくエージェントの優先順位付けを行うgreedyアルゴリズムであるHATRPO-Gの2つの方法を提案する。
  論文  参考訳（メタデータ） (2025-08-14T04:48:46Z)
• Human-assisted Robotic Policy Refinement via Action Preference Optimization [26.144183856600687]
  行動選好最適化(Action Preference Optimization、APO)は、視覚・言語・行動モデル(VLA)を人間の操作による選好アライメントによって洗練する手法である。 これを解決するために、APOは相互作用から導出される二元的望ましくない信号を用いた適応的再重み付けアルゴリズムを提案する。 シミュレーションと実世界のシナリオで行われた実験は、より優れた一般化とロバスト性を示す。
  論文  参考訳（メタデータ） (2025-06-08T13:14:18Z)
• Sample-Efficient Robust Multi-Agent Reinforcement Learning in the Face of Environmental Uncertainty [40.55653383218379]
  本研究は,ロバストなマルコフゲーム(RMG)の学習に焦点を当てる。 ゲーム理論平衡の様々な概念の頑健な変種を学習するために,有限サンプルの複雑性を保証するサンプル効率モデルベースアルゴリズム(DRNVI)を提案する。
  論文  参考訳（メタデータ） (2024-04-29T17:51:47Z)
• Beyond Reverse KL: Generalizing Direct Preference Optimization with Diverse Divergence Constraints [26.274786600234876]
  大規模言語モデル(LLM)の能力の増大は、人工知能の機会を増大させるが、安全性の懸念を増幅する。 RLHFは、AIアライメントへの有望な経路として登場したが、複雑さと独立した報酬モデルへの依存により、課題を提起している。 DPOは代替として提案されており、逆KL正規化制約の下ではRLHFと等価である。 Jensen-Shannonの発散、forward KLの発散、$alpha$-divergencesなど、ある$f$-divergencesの下では、報酬と最適ポリシーの複雑な関係も単純化できることを示す。
  論文  参考訳（メタデータ） (2023-09-28T08:29:44Z)
• Heterogeneous Multi-Robot Reinforcement Learning [7.22614468437919]
  不均一グラフニューラルネットワークプロキシポリシー最適化は、異種MARLポリシーをトレーニングするためのパラダイムである。 均質モデルがヘテロジニアスな振る舞いをエミュレートするために利用できる手法のキャラクタリゼーションを提案する。
  論文  参考訳（メタデータ） (2023-01-17T19:05:17Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。