論文の概要: Freeform Preference Learning for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2606.32027v1
• Date: Tue, 30 Jun 2026 17:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.346265
• Title: Freeform Preference Learning for Robotic Manipulation
• Title（参考訳）: ロボットマニピュレーションのための自由形式選好学習
• Abstract要約: 本稿では,自由形人選好からロボットポリシーを学習するFPLについて紹介する。 FPLは、明示的なサブタスクセグメンテーションなしで密集した進行信号を学習し、データに存在しない行動の構成性を示し、ユーザーは再トレーニングすることなくテスト時に異なる行動に対するポリシーを操ることができる。
• 参考スコア（独自算出の注目度）: 42.58175645355976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward design remains a central bottleneck for autonomous robot policy improvement, especially in long-horizon manipulation tasks where sparse success labels provide too little signal and binary preferences collapse many competing notions of quality into one ambiguous signal. We introduce Freeform Preference Learning (FPL), a method for learning robot policies from freeform human preferences. Rather than asking annotators which of two trajectories is better overall, FPL lets them define natural-language preference axes, such as speed, safety, quality of placement, or carefulness, and provide pairwise preferences along each axis. These annotations are used to learn a language-conditioned reward model that maps a trajectory and preference label to an axis-specific reward. We use this model to train a reward-conditioned policy that optimizes across the multiple human-specified dimensions. Across four real-world and two simulated long-horizon manipulation tasks, FPL improves over sparse-reward and binary-preference methods by 38 percentage points. Beyond improved performance, FPL learns dense progress signals without explicit subtask segmentation, shows compositionality of behavior not present in the data, and allows users to steer the policy towards different behaviors at test time without retraining. Blog post with videos available at https://freeform-pl.github.io/fpl.website/
• Abstract（参考訳）: リワードデザインは、特にスパース成功ラベルがほとんど信号を提供しておらず、二進選好が多くの競合する品質の概念を1つの曖昧な信号に分解する長い水平操作タスクにおいて、自律的なロボットポリシー改善のボトルネックとなっている。 本稿では,自由形人選好からロボットポリシーを学習するFPLについて紹介する。 FPLはアノテータに2つの軌道のどちらがより良いかを尋ねるのではなく、スピード、安全性、配置の質、注意などの自然言語の選好軸を定義し、それぞれの軸に沿ってペアの選好を提供する。 これらのアノテーションは、軌跡と選好ラベルを軸固有の報酬にマッピングする言語条件の報酬モデルを学ぶために使用される。 我々は、このモデルを用いて、複数の人間特定次元をまたいで最適化する報酬条件付きポリシーを訓練する。 4つの実世界と2つの模擬ロングホライゾン操作タスクにおいて、FPLはスパース・リワード法とバイナリ・レファレンス法を38ポイント改善する。 パフォーマンスの改善に加えて、FPLは明示的なサブタスクセグメンテーションなしで密集した進行信号を学び、データに存在しない振る舞いの構成性を示し、ユーザーは再トレーニングすることなくテスト時に異なる動作に対するポリシーを操ることができる。 https://freeform-pl.github.io/fpl.website/

関連論文リスト

• Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback [16.26441026659651]
  変分選好学習(VPL)は、ユーザ固有の潜伏変数を導入することで、この問題に対処しようとしている。 スパースな選好データの下では、VPLは潜伏変数を無視し、シングルリワードモデルに戻す。 この制限を克服するために,Swap-guided Preference Learning (SPL)を提案する。
  論文  参考訳（メタデータ） (2026-03-13T02:51:50Z)
• GBPP: Grasp-Aware Base Placement Prediction for Robots via Two-Stage Learning [10.736029638634504]
  GBPPは高速学習ベースのスコアラーで、単一のRGBDスナップショットから把握するロボットベースのポーズを選択する。 本手法では,(1) 簡易な距離可視ルールが大規模データセットを低コストで自動ラベルし,(2) より小さな高忠実度シミュレーション試行によって,真の把握結果に適合するモデルが洗練される,という2段階のカリキュラムを用いている。
  論文  参考訳（メタデータ） (2025-09-15T05:25:40Z)
• Multi-Preference Lambda-weighted Listwise DPO for Small-Scale Model Alignment [5.276657230880984]
  大規模言語モデル(LLM)は、幅広い言語タスクに対して強力な一般化を示すが、しばしば人間の好みに反する出力を生成する。 直接最適化選好(DPO)は、二項選好対に対する分類タスクとしてアライメントを扱い、プロセスを単純化する。 我々は、より詳細な人間のフィードバックからモデルを学習できるマルチパラメータLambda-weighted Listwise DPOを提案する。 本手法は, 実世界の展開に適した効率, 制御可能, きめ細かな適応を実現しつつ, 標準DPOのアライメント性能を常に向上させる。
  論文  参考訳（メタデータ） (2025-06-24T16:47:17Z)
• Best Policy Learning from Trajectory Preference Feedback [11.896067099790962]
  推論ベースの強化学習(PbRL)は、より堅牢な代替手段を提供する。 本稿では, PbRLにおける最適政策識別問題について検討し, 生成モデルの学習後最適化を動機とした。 本稿では,Top-Two Thompson Smplingにヒントを得た新しいアルゴリズムであるPosterior Smpling for Preference Learning(mathsfPSPL$)を提案する。
  論文  参考訳（メタデータ） (2025-01-31T03:55:10Z)
• Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment [73.14105098897696]
  本研究では,人間の嗜好フィードバックをはるかに少なくして視覚的報酬を学習するための表現適応型選好学習(RAPL)を提案する。 RAPLは、エンドユーザの視覚表現に合わせて微調整された事前学習された視覚エンコーダに焦点を合わせ、特徴マッチングによって密集した視覚報酬を構築する。 RAPLは人間の嗜好に沿った報酬を学習し、より効率的に嗜好データを使用し、ロボットの具体化を一般化できることを示す。
  論文  参考訳（メタデータ） (2024-12-06T08:04:02Z)
• Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
  本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。 $SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。 評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T16:04:03Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• Fine-Tuning Language Models with Reward Learning on Policy [68.70065254564642]
  人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)を人間の好みに合わせる効果的なアプローチとして現れている。 その人気にもかかわらず、(固定された)報酬モデルが不正確な流通に悩まされることがある。 本稿では、政策サンプルを用いて報酬モデルを洗練し、流通を継続する、教師なしのフレームワークであるポリシーに関する報酬学習(RLP)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T10:02:10Z)
• Contrastive Preference Learning: Learning from Human Feedback without RL [71.77024922527642]
  本稿では、報酬関数を学習せずに好みから最適なポリシーを学習するアルゴリズムであるContrastive Preference Learning (CPL)を紹介する。 CPLは完全に非政治的であり、単純なコントラスト目的のみを使用し、任意のMDPに適用できる。
  論文  参考訳（メタデータ） (2023-10-20T16:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。