論文の概要: MAPL: Multi-Objective Preference Learning for Robot Locomotion

• arxiv url: http://arxiv.org/abs/2606.25398v1
• Date: Wed, 24 Jun 2026 04:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.225075
• Title: MAPL: Multi-Objective Preference Learning for Robot Locomotion
• Title（参考訳）: MAPL:ロボット・ロコモーションのための多目的選好学習
• Abstract要約: ロボット移動のための強化学習において、リワードデザインは依然として大きなボトルネックとなっている。 我々は,高レベルな自然言語の目的から移動報酬を学習するフレームワークであるMAPLを提案する。
• 参考スコア（独自算出の注目度）: 3.975297231968465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward design remains a major bottleneck in reinforcement learning for robot locomotion, where successful policies often depend on carefully tuned, task-specific reward functions. Preference-based reinforcement learning offers an alternative, but existing LLM-based methods typically ask for a single overall judgment between behaviors, making it difficult to capture the multiple competing objectives that underlie high-quality locomotion. We present Multi-Objective AI-Informed Preference Learning (MAPL), a framework that learns locomotion rewards from high-level natural language objectives rather than manually engineered reward equations. MAPL prompts a large language model to compare trajectories independently along semantically meaningful criteria, using generic language descriptions that are terrain-invariant and require little domain expertise. These objective-wise preferences are used to train a multi-head preference scoring model, whose outputs are aggregated to form a scalar reward for policy optimization. Across four quadruped locomotion environments, MAPL trains policies using only LLM-generated preferences and achieves performance comparable to or better than expert-designed rewards, while eliminating task-specific reward engineering.
• Abstract（参考訳）: リワードデザインは、ロボットの移動における強化学習において大きなボトルネックであり、うまくいったポリシーは、しばしば注意深く調整されたタスク固有の報酬関数に依存する。 嗜好に基づく強化学習は代替手段を提供するが、既存のLCMベースの手法では、行動の全体的判断を単一に求め、高品質な移動を下す複数の競合する目的を捉えるのが困難である。 本稿では,多目的AI-Informed Preference Learning(MAPL)を提案する。 MAPLは、地形不変でドメインの専門知識をほとんど必要としない汎用言語記述を用いて、意味論的に意味のある基準に沿って、トラジェクトリを独立して比較するよう、大きな言語モデルに促す。 これらの客観的選好は、政策最適化のためのスカラー報酬を形成するために出力を集約したマルチヘッド選好スコアリングモデルを訓練するために使用される。 4つの四足歩行環境の中で、MAPLはLLM生成の嗜好のみを使用してポリシーを訓練し、専門家が設計した報酬に匹敵するパフォーマンスを達成し、タスク固有の報酬工学を排除した。

関連論文リスト

• LEMUR: Learning to Align with Multi-Objective Reinforcement Learning from Preference Feedback [4.210862582629798]
  LEMUR: 優先フィードバックを用いた多目的強化学習を学習する。 エージェントが複数の人の好みから対話的に学習し、最適な多目的ポリシーを学習する新しいフレームワークである。 提案手法は人的フィードバックからポリシーと複数の目標固有報酬モデルを共同で学習し,エージェントが競合する目的を効果的にバランスさせることを可能にする。
  論文  参考訳（メタデータ） (2026-07-31T15:50:29Z)
• MATO: Multi-objective Personalized Alignment with Test-time Optimization for Large Language Models [47.91243135663066]
  テスト時間最適化を伴う多目的パーソナライズアライメントのためのトレーニングフリーフレームワークであるMATOを紹介する。 MATOはパーソナライゼーションをテスト時間最適化問題として定式化し、復号時に制御可能な重みを通して複数の目的を相対的に重要視する。
  論文  参考訳（メタデータ） (2026-05-25T01:57:22Z)
• One Model for All: Multi-Objective Controllable Language Models [65.4626816393381]
  我々は、優先条件付きポリシーネットワークとして単一の言語モデルをトレーニングするために、MOC(Multi-Objective Control)を導入する。 提案手法では,マルチオブジェクト最適化(MOO)の原則をRLHFに導入し,LLMを優先条件付きポリシネットワークとしてトレーニングする。 大規模な実験は、3つの面において基線よりもMOCの利点を実証している。
  論文  参考訳（メタデータ） (2026-04-06T07:48:32Z)
• PCHC: Enabling Preference Conditioned Humanoid Control via Multi-Objective Reinforcement Learning [50.63196995993855]
  多目的強化学習(MORL)を活用してPCHC(Preference-Conditioned Humanoid Control)を実現する新しいフレームワークを提案する。 当社のフレームワークは、単一の嗜好条件のポリシーを多種多様な行動を示すために有効である。
  論文  参考訳（メタデータ） (2026-03-25T07:55:37Z)
• Preference-based Multi-Objective Reinforcement Learning [5.031225669460861]
  本稿では、嗜好のMORLフレームワークへの統合を形式化した嗜好ベースのMORL(Pb-MORL)を紹介する。 そこで本提案手法は,提案した嗜好に適合する多目的報酬モデルを構築する。 ベンチマーク多目的タスク,マルチエネルギー管理タスク,および多線高速道路における自律運転タスクにおける実験結果から,本手法の競争力向上が示唆された。
  論文  参考訳（メタデータ） (2025-07-18T16:43:04Z)
• LAPP: Large Language Model Feedback for Preference-Driven Reinforcement Learning [13.035613181550941]
  LAPP(Large Language Model-Assisted Preference Prediction)は、ロボット学習のための新しいフレームワークである。 LAPPは、人間の最小限の努力で効率的、カスタマイズ可能、表現力のある行動獲得を可能にする。 LAPPは効率的な学習、高い最終性能、より高速な適応、高レベルの動作の正確な制御を実現する。
  論文  参考訳（メタデータ） (2025-04-21T22:46:29Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Goal-Conditioned Supervised Learning for Multi-Objective Recommendation [8.593384839118658]
  多目的学習は、一つのモデルを用いて複数の目的を同時に最適化する。 本稿では,オフラインシーケンシャルデータから複数の目標を自動学習する多目的目標定義型監視学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-12T03:47:40Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Enhancing Robotic Manipulation with AI Feedback from Multimodal Large Language Models [41.38520841504846]
  大規模言語モデル(LLM)は、画像入力から意思決定のガイドまで、自動的な好みフィードバックを提供する。 本研究では,ロボット操作作業における軌跡映像の理解が可能なマルチモーダルLLMであるCriticGPTを訓練する。 アルゴリズムの選好精度を実験的に評価すると、新しいタスクに対する効果的な一般化能力が示される。 Meta-Worldタスクのパフォーマンスは、CriticGPTの報酬モデルが、最先端の事前訓練された表現モデルに基づいて報酬を越え、ポリシー学習を効率的に導くことを示している。
  論文  参考訳（メタデータ） (2024-02-22T03:14:03Z)
• Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct Preference Optimization [76.09576643028362]
  複数のアライメント目的に対してMODPO(Multi-Objective Direct Preference Optimization)を提案する。 MODPOは、言語モデリングを直接報酬モデルに折り畳み、暗黙の集団報酬モデルとして言語モデルを訓練する。 理論的には MORLHF と同じ最適解が得られるが、実質的にはより安定で効率的である。
  論文  参考訳（メタデータ） (2023-10-05T17:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。