論文の概要: Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment

• arxiv url: http://arxiv.org/abs/2412.04835v1
• Date: Fri, 06 Dec 2024 08:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:57:57.000198
• Title: Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment
• Title（参考訳）: 最小フィードバックによるアライメントの最大化:視覚運動ロボットのポリシーアライメントを効果的に学習する
• Authors: Ran Tian, Yilin Wu, Chenfeng Xu, Masayoshi Tomizuka, Jitendra Malik, Andrea Bajcsy,
• Abstract要約: 本研究では,人間の嗜好フィードバックをはるかに少なくして視覚的報酬を学習するための表現適応型選好学習(RAPL)を提案する。 RAPLは、エンドユーザの視覚表現に合わせて微調整された事前学習された視覚エンコーダに焦点を合わせ、特徴マッチングによって密集した視覚報酬を構築する。 RAPLは人間の嗜好に沿った報酬を学習し、より効率的に嗜好データを使用し、ロボットの具体化を一般化できることを示す。
• 参考スコア（独自算出の注目度）: 73.14105098897696
• License:
• Abstract: Visuomotor robot policies, increasingly pre-trained on large-scale datasets, promise significant advancements across robotics domains. However, aligning these policies with end-user preferences remains a challenge, particularly when the preferences are hard to specify. While reinforcement learning from human feedback (RLHF) has become the predominant mechanism for alignment in non-embodied domains like large language models, it has not seen the same success in aligning visuomotor policies due to the prohibitive amount of human feedback required to learn visual reward functions. To address this limitation, we propose Representation-Aligned Preference-based Learning (RAPL), an observation-only method for learning visual rewards from significantly less human preference feedback. Unlike traditional RLHF, RAPL focuses human feedback on fine-tuning pre-trained vision encoders to align with the end-user's visual representation and then constructs a dense visual reward via feature matching in this aligned representation space. We first validate RAPL through simulation experiments in the X-Magical benchmark and Franka Panda robotic manipulation, demonstrating that it can learn rewards aligned with human preferences, more efficiently uses preference data, and generalizes across robot embodiments. Finally, our hardware experiments align pre-trained Diffusion Policies for three object manipulation tasks. We find that RAPL can fine-tune these policies with 5x less real human preference data, taking the first step towards minimizing human feedback while maximizing visuomotor robot policy alignment.
• Abstract（参考訳）: Visuomotorのロボットポリシーは、大規模データセットで事前訓練されるようになってきており、ロボット分野における大幅な進歩を約束している。 しかし、これらのポリシーをエンドユーザの好みに合わせることは、特に好みを特定するのが難しい場合には、依然として課題である。 ヒトのフィードバックからの強化学習(RLHF)は、大規模言語モデルのような非身体的領域におけるアライメントの主要なメカニズムとなっているが、視覚的な報酬関数の学習に必要な人間のフィードバックが禁止されているため、視覚運動のポリシーの整合化には成功していない。 この制限に対処するために、人間の嗜好フィードバックをはるかに少なくして視覚的報酬を学習する観察専用手法であるRepresentation-Aligned Preference-based Learning (RAPL)を提案する。 従来のRLHFとは異なり、RAPLは微調整された事前学習された視覚エンコーダに人間のフィードバックを集中させ、エンドユーザーの視覚表現と整合し、この整列された表現空間で特徴マッチングによって密集した視覚報酬を構築する。 我々はまず,X-MagicalベンチマークとFranka Pandaロボット操作のシミュレーション実験を通じてRAPLを検証する。 最後に、我々のハードウェア実験は、3つのオブジェクト操作タスクに対して、事前訓練された拡散ポリシーを調整します。 RAPLは、人間の嗜好データを5倍少ない精度で微調整し、人間のフィードバックを最小化しつつ、視覚運動ロボットのポリシーアライメントを最大化するための第一歩を踏み出すことができる。

関連論文リスト

• PILAF: Optimal Human Preference Sampling for Reward Modeling [14.336058926701432]
  そこで我々は,プライオリティラベリングのための新しい応答サンプリング戦略であるPILAF(Policy-Interpolated Learning for Aligned Feedback)を提案する。 PILAFは、優先学習と基礎となるオラクル報酬の最大化を明確に調整する。
  論文  参考訳（メタデータ） (2025-02-06T18:09:00Z)
• FDPP: Fine-tune Diffusion Policy with Human Preference [57.44575105114056]
  人間の嗜好を考慮した微調整拡散政策は、嗜好に基づく学習を通して報酬関数を学習する。 この報酬は、訓練済みの政策を強化学習で微調整するために使われる。 実験により、FDPPは性能を損なうことなく、効果的にポリシーの動作をカスタマイズできることが示されている。
  論文  参考訳（メタデータ） (2025-01-14T17:15:27Z)
• Personalizing Reinforcement Learning from Human Feedback with Variational Preference Learning [12.742158403867002]
  ヒューマンフィードバックからの強化学習は、基礎モデルを人間の価値観や好みに合わせるための強力なパラダイムである。 現在のRLHF技術は、多様な集団における個人の嗜好の自然に生じる相違を説明できない。 マルチモーダルなRLHF手法のクラスを開発し,多元的アライメントの必要性に対処する。
  論文  参考訳（メタデータ） (2024-08-19T15:18:30Z)
• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Contrastive Preference Learning: Learning from Human Feedback without RL [71.77024922527642]
  本稿では、報酬関数を学習せずに好みから最適なポリシーを学習するアルゴリズムであるContrastive Preference Learning (CPL)を紹介する。 CPLは完全に非政治的であり、単純なコントラスト目的のみを使用し、任意のMDPに適用できる。
  論文  参考訳（メタデータ） (2023-10-20T16:37:56Z)
• What Matters to You? Towards Visual Representation Alignment for Robot Learning [81.30964736676103]
  人のために運用する場合、ロボットはエンドユーザーの好みに合わせて報酬を最適化する必要がある。 本稿では、視覚的表現アライメント問題を解決するためのRAPL(Representation-Aligned Preference-based Learning)を提案する。
  論文  参考訳（メタデータ） (2023-10-11T23:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。