論文の概要: PROMO: Preference-conditioned Multi-Objective Reinforcement Learning for Quadrupedal Robots

• arxiv url: http://arxiv.org/abs/2610.01260v1
• Date: Thu, 01 Oct 2026 07:52:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.977155
• Title: PROMO: Preference-conditioned Multi-Objective Reinforcement Learning for Quadrupedal Robots
• Title（参考訳）: PROMO:四足歩行ロボットの条件付き多目的強化学習
• Abstract要約: 四足歩行は、指令追跡、安定性、エネルギー効率などの相反する目標のバランスを必要とする。 本稿では,このトレードオフを単一ロコモーションポリシーへの明示的な実行時入力とする意味的多目的アプローチであるPROMOを提案する。 PROMOは、単一デプロイ可能なポリシーから、客観的な特殊化とロバスト性を実現する。
• 参考スコア（独自算出の注目度）: 2.842800539489866
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Quadrupedal locomotion requires balancing conflicting objectives such as command tracking, stability, and energy efficiency, yet conventional reinforcement learning (RL) hardcodes these priorities into a fixed scalar reward at training time. We present PROMO (Preference-Conditioned Multi-Objective Reinforcement Learning), a semantic multi-objective approach that makes this trade-off an explicit runtime input to a single locomotion policy. PROMO conditions the policy on deployment facing preferences while keeping embodiment-specific locomotion priors fixed, thereby separating operator intent from reward shaping terms required for viable gait generation. Compared with fixed-objective controllers, multi-objective baselines, and independently trained specialists, PROMO achieves objective specialization and robustness from a single deployable policy. Across 100 sampled preferences in simulation, 67 behaviors are non-dominated under exact Pareto dominance, with a mean preference-objective correlation of 0.843, demonstrating broad Pareto coverage and predictable preference response. The same policy transfers zero-shot to a Unitree Go2, where preference changes alone reduce specific energy by up to 30.4%, position error by 38.7%, and peak body-attitude deviation by 59.0% relative to the balanced preference. These results establish preference-conditioned multi-objective RL as a practical runtime interface for adaptive legged locomotion, extending its role beyond offline Pareto-set construction. Open-source code and videos are available at https://amrmousa.com/promo/.
• Abstract（参考訳）: 四足歩行は、指令追跡、安定性、エネルギー効率などの相反する目標のバランスを必要とするが、従来の強化学習(RL)は訓練時にこれらの優先順位を固定スカラー報酬にハードコードする。 本稿では,PROMO(Preference-Conditioned Multi-Objective Reinforcement Learning)を提案する。 PROMOは、実施固有の移動先を固定したまま、優先事項に直面するデプロイメントに関するポリシーを条件にすることで、実行可能な歩行生成に必要な報酬形成用語からオペレーターの意図を分離する。 固定オブジェクトコントローラ、多目的ベースライン、独立に訓練されたスペシャリストと比べ、PROMOは単一のデプロイ可能なポリシーから目的の特殊化と堅牢性を達成する。 シミュレーションにおける100個のサンプル選好のうち67個の行動は、パレート支配下では非支配的であり、平均選好-客観相関は0.843であり、幅広いパレートカバレッジと予測可能な選好応答を示す。 同じ方針はゼロショットをユニツリーGo2に転送し、好みの変化だけで特定のエネルギーを最大30.4%減少させ、位置誤差を38.7%減少させ、バランスの取れた好みに対して最高姿勢偏差を59.0%減少させる。 これらの結果は、適応脚移動のための実践的なランタイムインタフェースとして、嗜好条件付き多目的RLを確立し、その役割をオフラインのPareto-set構成を超えて拡張する。 オープンソースコードとビデオはhttps://amrmousa.com/promo/.comで公開されている。

関連論文リスト

• AutoCRAT: Within-trajectory Joint Control of Stochasticity and Compute for LLM Reasoning [10.408251801653723]
  大規模言語モデル(LLM)は、時間決定に大きく依存する強力な推論性能を達成する。 最近の適応的手法はこの制限に部分的に対処するが、主に推奨の復号性(モデルがどのように探索するか)や計算の推論(モデル理由の期間)を分離して適用する。 軌道内ジョイントコントロールビューを導入し,AutoCRATでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-30T19:24:58Z)
• LAPF: LLM-Agent-Based Path Finder Using the UAVScenes Dataset [8.27333944529512]
  本稿では,都市規模屋外環境における自律型UAVナビゲーションのためのLLM-Agent-Based Path Finder (LAPF) フレームワークを提案する。 LAPFは認識、記憶、計画、行動モジュールをクローズドループ認知アーキテクチャに統合することでLLM支援ナビゲーションを拡張している。 LAPFは512.83mと506.37mの平均経路長を、497.33mの直線最適化と比較する。
  論文  参考訳（メタデータ） (2026-08-15T11:28:21Z)
• PCHC: Enabling Preference Conditioned Humanoid Control via Multi-Objective Reinforcement Learning [50.63196995993855]
  多目的強化学習(MORL)を活用してPCHC(Preference-Conditioned Humanoid Control)を実現する新しいフレームワークを提案する。 当社のフレームワークは、単一の嗜好条件のポリシーを多種多様な行動を示すために有効である。
  論文  参考訳（メタデータ） (2026-03-25T07:55:37Z)
• ADV-0: Closed-Loop Min-Max Adversarial Training for Long-Tail Robustness in Autonomous Driving [63.980630608984605]
  本稿では、ゼロサムマルコフゲームとして、駆動ポリシー(ディフェンダー)と敵エージェント(アタックラー)の相互作用を扱うクローズドループのmin-max最適化フレームワークであるADV-0を提案する。 これを実現するため,我々は動的敵の進化を反復的な選好学習とし,この最適性を効率的に近似し,アルゴリズムに依存しない解をゲームに提供する。 実験により、多様な安全クリティカルな障害を効果的に露呈し、学習方針と運動プランナーの両方の一般化可能性を大幅に向上させることが示されている。
  論文  参考訳（メタデータ） (2026-03-16T12:58:31Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Real-Time Gait Adaptation for Quadrupeds using Model Predictive Control and Reinforcement Learning [2.5845893156827158]
  連続歩行空間におけるリアルタイム歩行適応のための最適化フレームワークを提案する。 モデル予測パス積分(MPPI)アルゴリズムとDreamerモジュールを組み合わせることで、四足歩行に対する適応的かつ最適なポリシーを生成する。 我々は,Unitree Go1上でのシミュレーションの枠組みを評価し,目標速度の異なるエネルギー消費の最大36.48%の削減を実証した。
  論文  参考訳（メタデータ） (2025-10-23T16:17:45Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct Preference Optimization [76.09576643028362]
  複数のアライメント目的に対してMODPO(Multi-Objective Direct Preference Optimization)を提案する。 MODPOは、言語モデリングを直接報酬モデルに折り畳み、暗黙の集団報酬モデルとして言語モデルを訓練する。 理論的には MORLHF と同じ最適解が得られるが、実質的にはより安定で効率的である。
  論文  参考訳（メタデータ） (2023-10-05T17:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。