論文の概要: MAPO: Mixture of Experts with Alternating Policy Optimization for Universal Humanoid Motion Tracking
- arxiv url: http://arxiv.org/abs/2611.02613v1
- Date: Mon, 02 Nov 2026 06:40:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 20:17:01.045537
- Title: MAPO: Mixture of Experts with Alternating Policy Optimization for Universal Humanoid Motion Tracking
- Title(参考訳): MAPO:Universal Humanoid Motion Trackingのための代替政策最適化の専門家の混在
- Abstract要約: モーショントラッキングは、ヒューマノイドロボットが人間の環境で多様なタスクを実行できるために不可欠である。
ヒトの動きの多様な多様性を捉えるために、Mixix-of-experts(MoE)ポリシーが広く採用されている。
古いポリシーと更新ポリシーのばらつきは、MoEポリシーのポリシー段階の更新で誤解される可能性がある。
- 参考スコア(独自算出の注目度): 26.209449799975236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Universal humanoid motion tracking is essential for enabling humanoid robots to perform diverse tasks in human environments. To capture the wide diversity of human motions, mixture-of-experts (MoE) policies have been widely adopted, leveraging dynamic routing to enhance policy expressiveness. However, we identify that divergence between old and updated policies can be misestimated during policy-gradient updates of MoE policies, due to their dynamic routing. Because most policy-gradient algorithms regulate policy updates based on the divergence, this misestimation can lead to either overly conservative or excessively large updates, which can yield a suboptimal policy. In this paper, we propose Mixture of Experts with Alternating Policy Optimization (MAPO), which alternately optimizes the router and the experts to avoid the divergence misestimation. MAPO consistently tracks 182 motions that PPO with MoE fails to track, whereas PPO with MoE tracks only one motion that MAPO fails to track. MAPO also attains the highest tracking success rate among the compared methods and the lowest tracking error across most error metrics, demonstrating its superior performance. Videos can be found on the project website: https://mapo-corl2026.github.io/MAPO/
- Abstract(参考訳): ユニバーサルなヒューマノイドモーショントラッキングは、ヒューマノイドロボットが人間の環境で多様なタスクを実行できるために不可欠である。
ヒトの動きの多様性を捉えるために、動的ルーティングを活用してポリシー表現性を高めることで、Mix-of-experts(MoE)ポリシーが広く採用されている。
しかし、動的ルーティングのため、ポリシー段階のMoEポリシー更新において、古いポリシーと更新ポリシーのばらつきが誤解される可能性がある。
ほとんどのポリシー段階のアルゴリズムは、ばらつきに基づいてポリシーの更新を規制するので、この誤算は過度に保守的または過度に大規模な更新をもたらす可能性がある。
本稿では,ルータと専門家を交互に最適化するMAPO(Mixture of Experts with Alternating Policy Optimization)を提案する。
MAPOは、MOE付きPPOが追跡できない182の動作を常に追跡する一方、MOE付きPPOはMAPOが追跡できない1つの動作のみを追跡する。
また、MAPOは比較した手法の中で最高のトラッキング成功率、ほとんどのエラーメトリクスで最低のトラッキングエラーを達成し、その優れたパフォーマンスを示している。
ビデオはプロジェクトのWebサイト(https://mapo-corl2026.github.io/MAPO/)で見ることができる。
関連論文リスト
- Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories [8.282089724857528]
大規模言語モデル(LLM)エージェントは、教師付き微調整を用いて専門家の軌道から一般的に訓練される。
この問題を緩和する既存の方法は、好みの学習や強化学習である。
本稿では,軽量オフラインエージェントポリシー最適化手法であるAgentic-DPOを提案する。
論文 参考訳(メタデータ) (2026-07-12T06:38:55Z) - Improving Robotic Generalist Policies via Flow Reversal Steering [92.97477771370428]
汎用ポリシーは多様なロボットデータセットから幅広いスキルを学ぶことができる。
新しい課題を解決し、改善するためには、ポリシーのリッチな振る舞いから適切なアクションを推論し、呼び出す方法が必要です。
本稿では,フローリバーサルステアリング (FRS) を提案し,フローポリシーを逆に通すことで,最適だが合理的な動作をとる手法を提案し,それらを一般の動作モードにマッピングする。
論文 参考訳(メタデータ) (2026-06-11T17:59:45Z) - Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。
我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。
7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文 参考訳(メタデータ) (2026-05-20T15:14:14Z) - Proximal Policy Optimization with Evolutionary Mutations [0.0]
Proximal Policy Optimization (PPO) は、その安定性とサンプル効率で広く使われている強化学習アルゴリズムである。
本稿では、PPOの早期収束を克服するためのPOEM(Proximal Policy Evolutionary Optimization)を提案する。
我々は、CarRacing、MountainCar、BipedalWalker、LunarLanderの4つのOpenAI環境でPOEMを評価した。
論文 参考訳(メタデータ) (2026-01-21T06:34:53Z) - Inference-Time Policy Steering through Human Interactions [54.02655062969934]
推論中、人間はしばしばポリシー実行ループから取り除かれる。
本稿では,人間のインタラクションを活用して生成するサンプリングプロセスにバイアスを与える推論時ポリシーステアリングフレームワークを提案する。
提案手法は,アライメントと分布シフトの最良のトレードオフを実現する。
論文 参考訳(メタデータ) (2024-11-25T18:03:50Z) - Wasserstein Gradient Flows for Optimizing Gaussian Mixture Policies [0.0]
ポリシー最適化は、タスク固有の目的の関数としてロボットポリシーを適用するための、事実上のパラダイムである。
本稿では,最適輸送問題として政策最適化を適用することで,確率的政策の構造を活用することを提案する。
我々は,ロボットの動作の到達,衝突回避行動,マルチゴールタスクなど,一般的なロボット設定に対するアプローチを評価した。
論文 参考訳(メタデータ) (2023-05-17T17:48:24Z) - Learning Action Embeddings for Off-Policy Evaluation [6.385697591955264]
オフ・ポリティィ・アセスメント(OPE)法では,異なるポリシによって収集されたログデータを用いて,ポリシの期待される報酬を計算することができる。
しかし、アクションの数が多ければ、あるアクションがロギングポリシーによって探索されていない場合、逆正当性スコアリング(IPS)に基づく既存の推定器は、高いあるいは無限のばらつきを持つことができる。
Saito と Joachims は、代わりにアクション埋め込み(英語版)を用いて、大きなアクション空間における IPS のばらつきを減らし、マーシャライズされた IPS (MIPS) を提案する。
論文 参考訳(メタデータ) (2023-05-06T06:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。