論文の概要: PEARL: Zero-shot Cross-task Preference Alignment and Robust Reward Learning for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2306.03615v2
• Date: Wed, 5 Jun 2024 12:00:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 04:36:49.816643
• Title: PEARL: Zero-shot Cross-task Preference Alignment and Robust Reward Learning for Robotic Manipulation
• Title（参考訳）: PEARL:ロボットマニピュレーションのためのゼロショットクロスタスク設定とロバスト・リワード学習
• Authors: Runze Liu, Yali Du, Fengshuo Bai, Jiafei Lyu, Xiu Li,
• Abstract要約: ゼロショット型クロスタスク選好アライメントとロバスト・リワード学習(PEARL)を提案する。 PEARLは、ターゲットタスクの人間ラベルなしで、クロスタスクの嗜好伝達からポリシーを学習する。 Meta-World と Robomimic のロボット操作タスクに関する実証的な結果から,我々の手法はタスク間で好みラベルを正確に転送し,適切なポリシーを学習できることを示した。
• 参考スコア（独自算出の注目度）: 29.88058548320708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In preference-based Reinforcement Learning (RL), obtaining a large number of preference labels are both time-consuming and costly. Furthermore, the queried human preferences cannot be utilized for the new tasks. In this paper, we propose Zero-shot Cross-task Preference Alignment and Robust Reward Learning (PEARL), which learns policies from cross-task preference transfer without any human labels of the target task. Our contributions include two novel components that facilitate the transfer and learning process. The first is Cross-task Preference Alignment (CPA), which transfers the preferences between tasks via optimal transport. The key idea of CPA is to use Gromov-Wasserstein distance to align the trajectories between tasks, and the solved optimal transport matrix serves as the correspondence between trajectories. The target task preferences are computed as the weighted sum of source task preference labels with the correspondence as weights. Moreover, to ensure robust learning from these transferred labels, we introduce Robust Reward Learning (RRL), which considers both reward mean and uncertainty by modeling rewards as Gaussian distributions. Empirical results on robotic manipulation tasks from Meta-World and Robomimic demonstrate that our method is capable of transferring preference labels across tasks accurately and then learns well-behaved policies. Notably, our approach significantly exceeds existing methods when there are few human preferences. The code and videos of our method are available at: https://sites.google.com/view/pearl-preference.
• Abstract（参考訳）: 嗜好に基づく強化学習(Reinforcement Learning, RL)では、大量の選好ラベルを取得するのに時間と費用がかかる。 また、質問された人間の好みは、新しいタスクには利用できない。 本稿では,タスクの人間ラベルを使わずに,タスク間の嗜好伝達からポリシーを学習するZero-shot Cross-task Preference Alignment and Robust Reward Learning(PEARL)を提案する。 私たちのコントリビューションには、転送と学習プロセスを促進する2つの新しいコンポーネントが含まれています。 1つ目はCPA(Cross-task Preference Alignment)で、最適なトランスポートによってタスク間の好みを転送する。 CPAの鍵となる考え方は、Gromov-Wasserstein 距離を使ってタスク間の軌道を整列させることであり、最適輸送行列は軌道間の対応として機能する。 対象タスク選好は、ソースタスク選好ラベルの重み付け和として計算され、対応は重みとして計算される。 さらに、これらのラベルから堅牢な学習を確保するために、報酬平均と不確実性の両方をガウス分布としてモデル化するロバスト・リワード・ラーニング(RRL)を導入する。 Meta-World と Robomimic のロボット操作タスクに関する実証的な結果から,提案手法はタスク間で好みラベルを正確に転送し,適切なポリシーを学習可能であることが示された。 特に、人間の好みがほとんどない場合、我々のアプローチは既存の手法をはるかに上回っている。 私たちのメソッドのコードとビデオは、https://sites.google.com/view/pearl-preference.orgで公開されている。

関連論文リスト

• Multi-Type Preference Learning: Empowering Preference-Based Reinforcement Learning with Equal Preferences [12.775486996512434]
  嗜好に基づく強化学習は、エージェント行動に関する人間教師の嗜好から直接学習する。 既存のPBRL法はしばしば明示的な選好から学習し、教師が平等な選好を選択する可能性を無視している。 そこで本稿では,PBRL手法であるMulti-Type Preference Learning (MTPL)を提案する。
  論文  参考訳（メタデータ） (2024-09-11T13:43:49Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Wasserstein Task Embedding for Measuring Task Similarities [14.095478018850374]
  異なるタスク間の類似度を測定することは、幅広い機械学習問題において重要である。 最適輸送理論を活用し、教師付き分類のための新しいタスク埋め込みを定義する。 提案手法の組込みは, 関連する手法と比較して, タスクの比較を著しく高速化することを示した。
  論文  参考訳（メタデータ） (2022-08-24T18:11:04Z)
• Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks [56.63855534940827]
  本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。 理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。 本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
  論文  参考訳（メタデータ） (2022-07-19T04:58:06Z)
• Provable Benefits of Representational Transfer in Reinforcement Learning [59.712501044999875]
  本稿では,RLにおける表現伝達の問題について検討し,エージェントがまず複数のソースタスクを事前訓練し,共有表現を発見する。 本稿では,ソースタスクに対する生成的アクセスが与えられた場合,次に続く線形RL手法がほぼ最適ポリシーに迅速に収束する表現を発見できることを示す。
  論文  参考訳（メタデータ） (2022-05-29T04:31:29Z)
• Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
  現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。 そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。 実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-05-12T02:23:25Z)
• Selecting task with optimal transport self-supervised learning for few-shot classification [15.088213168796772]
  Few-Shot分類は、トレーニングプロセスで利用可能なサンプルはわずかである、という問題を解決することを目的としている。 本稿では,Few-Shot 学習のための類似タスクを選択して学習セットを構築するために,OTTS (Optimal Transport Task Selecting) という新しいタスク選択アルゴリズムを提案する。 OTTSは最適な輸送距離を計算してタスク類似度を測定し、自己監督戦略を通じてモデルトレーニングを完了させる。
  論文  参考訳（メタデータ） (2022-04-01T08:45:29Z)
• Robot Learning of Mobile Manipulation with Reachability Behavior Priors [38.49783454634775]
  モバイルマニピュレーション(MM)システムは、非構造化現実環境におけるパーソナルアシスタントの役割を引き継ぐ上で理想的な候補である。 その他の課題として、MMは移動性と操作性の両方を必要とするタスクを実行するために、ロボットの実施形態を効果的に調整する必要がある。 本研究では,アクタ批判的RL手法におけるロボットの到達可能性の先行性の統合について検討した。
  論文  参考訳（メタデータ） (2022-03-08T12:44:42Z)
• Diversity-based Trajectory and Goal Selection with Hindsight Experience Replay [8.259694128526112]
  我々はHER(DTGSH)を用いた多様性に基づく軌道と目標選択を提案する。 提案手法は,全てのタスクにおいて,他の最先端手法よりも高速に学習し,高い性能を達成することができることを示す。
  論文  参考訳（メタデータ） (2021-08-17T21:34:24Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。