論文の概要: PCHC: Enabling Preference Conditioned Humanoid Control via Multi-Objective Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2603.24047v1
• Date: Wed, 25 Mar 2026 07:55:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.197936
• Title: PCHC: Enabling Preference Conditioned Humanoid Control via Multi-Objective Reinforcement Learning
• Title（参考訳）: PCHC:多目的強化学習による嗜好条件付きヒューマノイド制御の実現
• Authors: Huanyu Li, Dewei Wang, Xinmiao Wang, Xinzhe Liu, Peng Liu, Chenjia Bai, Xuelong Li,
• Abstract要約: 多目的強化学習(MORL)を活用してPCHC(Preference-Conditioned Humanoid Control)を実現する新しいフレームワークを提案する。 当社のフレームワークは、単一の嗜好条件のポリシーを多種多様な行動を示すために有効である。
• 参考スコア（独自算出の注目度）: 50.63196995993855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humanoid robots often need to balance competing objectives, such as maximizing speed while minimizing energy consumption. While current reinforcement learning (RL) methods can master complex skills like fall recovery and perceptive locomotion, they are constrained by fixed weighting strategies that produce a single suboptimal policy, rather than providing a diverse set of solutions for sophisticated multi-objective control. In this paper, we propose a novel framework leveraging Multi-Objective Reinforcement Learning (MORL) to achieve Preference-Conditioned Humanoid Control (PCHC). Unlike conventional methods that require training a series of policies to approximate the Pareto front, our framework enables a single, preference-conditioned policy to exhibit a wide spectrum of diverse behaviors. To effectively integrate these requirements, we introduce a Beta distribution-based alignment mechanism based on preference vectors modulating a Mixture-of-Experts (MoE) module. We validated our approach on two representative humanoid tasks. Extensive simulations and real-world experiments demonstrate that the proposed framework allows the robot to adaptively shift its objective priorities in real-time based on the input preference condition.
• Abstract（参考訳）: ヒューマノイドロボットは、エネルギー消費を最小化しながら速度を最大化するなど、競合する目標のバランスをとる必要があることが多い。 現在の強化学習(RL)法は、転倒回復や知覚的移動のような複雑なスキルを習得することができるが、高度な多目的制御のための多様なソリューションを提供するのではなく、単一の最適政策を生成する固定重み付け戦略によって制約される。 本稿では,PCHC(Preference-Conditioned Humanoid Control)を実現するために,MORL(Multi-Objective Reinforcement Learning)を活用した新しいフレームワークを提案する。 パレートフロントを近似するために一連のポリシーを訓練する従来の手法とは異なり、我々のフレームワークは、単一の嗜好条件のポリシーを多種多様な振る舞いを示すことができる。 これらの要件を効果的に統合するために,Mixture-of-Experts (MoE) モジュールを変調した選好ベクトルに基づいて,ベータ分布に基づくアライメント機構を導入する。 我々は2つの代表的ヒューマノイド課題に対するアプローチを検証した。 大規模シミュレーションと実世界の実験により,提案するフレームワークにより,ロボットは入力嗜好条件に基づいて,目的の優先順位をリアルタイムで適応的にシフトできることを示した。

関連論文リスト

• UC-MOA: Utility-Conditioned Multi-Objective Alignment for Distributional Pareto-Optimality [52.49062565901046]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値を整合させる基盤となっている。 既存のアプローチは、人間の好みの多次元、分布的なニュアンスを捉えるのに苦労している。 本稿では,これらの制約を克服する新しいフレームワークであるUtility-Conditioned Multi-Objective Alignment (UC-MOA)を紹介する。
  論文  参考訳（メタデータ） (2025-03-10T09:52:42Z)
• Pareto Set Learning for Multi-Objective Reinforcement Learning [19.720934024901542]
  MORL(Multi-Objective RL)のための分解ベースフレームワークを提案する。 PSL-MORLは、ハイパーネットワークの生成能力を利用して、各分解重量に対するポリシーネットワークのパラメータを生成する。 PSL-MORL は高体積, 疎度指標において最先端の MORL 法より有意に優れていた。
  論文  参考訳（メタデータ） (2025-01-12T10:43:05Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• C-MORL: Multi-Objective Reinforcement Learning through Efficient Discovery of Pareto Front [9.04360155372014]
  制約付きMORLは制約付きポリシー最適化とMORLのシームレスなブリッジである。 我々のアルゴリズムは、離散的かつ連続的な制御タスクにおいて、ハイパーボリューム、期待されるユーティリティ、およびスパーシリティという観点でより一貫性があり、優れた性能を達成する。
  論文  参考訳（メタデータ） (2024-10-03T06:13:56Z)
• Rewards-in-Context: Multi-objective Alignment of Foundation Models with Dynamic Preference Adjustment [46.44464839353993]
  リワード・イン・コンテキスト(Rewards-in-Context, RiC)を導入する。 RiCは単一のファンデーションモデルの教師付き微調整のみを必要とし、推論時間中にユーザの好みを動的に調整する。
  論文  参考訳（メタデータ） (2024-02-15T18:58:31Z)
• PD-MORL: Preference-Driven Multi-Objective Reinforcement Learning Algorithm [0.18416014644193063]
  本稿では,連続ロボット作業にスケーラブルな選好空間全体をカバーするために,単一のユニバーサルネットワークをトレーニングする新しいMORLアルゴリズムを提案する。 PD-MORLは、連続制御タスクに挑戦するために最大25%大きなハイパーボリュームを達成する。
  論文  参考訳（メタデータ） (2022-08-16T19:23:02Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Imitation Learning from MPC for Quadrupedal Multi-Gait Control [63.617157490920505]
  本稿では,歩行ロボットの複数の歩行を模倣する単一ポリシーを学習する学習アルゴリズムを提案する。 モデル予測制御によって導かれる模擬学習のアプローチであるMPC-Netを使用し、拡張します。 ハードウェアに対する我々のアプローチを検証し、学習したポリシーが教師に取って代わって複数の歩留まりを制御できることを示します。
  論文  参考訳（メタデータ） (2021-03-26T08:48:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。