論文の概要: Controlled Diversity with Preference : Towards Learning a Diverse Set of Desired Skills

• arxiv url: http://arxiv.org/abs/2303.04592v1
• Date: Tue, 7 Mar 2023 03:37:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 13:56:46.536319
• Title: Controlled Diversity with Preference : Towards Learning a Diverse Set of Desired Skills
• Title（参考訳）: 選好による多様性の制御 : 異なるスキルセットの学習に向けて
• Authors: Maxence Hussonnois, Thommen George Karimpanal and Santu Rana
• Abstract要約: エージェントが多様かつ望ましいスキルのセットを学ぶための協調的なヒューマンガイド機構である制御された多様性と優先度(CDP)を提案する。 鍵となる原則は、軌道上の人間の嗜好ラベルを用いて訓練された嗜好モデルに従って、好まれる領域にスキルの発見を制限することである。 2次元ナビゲーションとMujoco環境に対する我々のアプローチを評価し、多様な、しかし望ましいスキルを発見できることを実証した。
• 参考スコア（独自算出の注目度）: 15.187171070594935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomously learning diverse behaviors without an extrinsic reward signal has been a problem of interest in reinforcement learning. However, the nature of learning in such mechanisms is unconstrained, often resulting in the accumulation of several unusable, unsafe or misaligned skills. In order to avoid such issues and ensure the discovery of safe and human-aligned skills, it is necessary to incorporate humans into the unsupervised training process, which remains a largely unexplored research area. In this work, we propose Controlled Diversity with Preference (CDP), a novel, collaborative human-guided mechanism for an agent to learn a set of skills that is diverse as well as desirable. The key principle is to restrict the discovery of skills to those regions that are deemed to be desirable as per a preference model trained using human preference labels on trajectory pairs. We evaluate our approach on 2D navigation and Mujoco environments and demonstrate the ability to discover diverse, yet desirable skills.
• Abstract（参考訳）: 外部の報酬信号のない多様な行動の自律的な学習は、強化学習における関心の問題となっている。 しかし、そのようなメカニズムにおける学習の性質は制約がなく、しばしば使用不能、安全でない、あるいは不整合なスキルが蓄積される。 このような問題を回避し、安全かつ人道的なスキルの発見を確実にするためには、ほとんど探索されていない研究領域である教師なしのトレーニングプロセスに人間を組み込む必要がある。 本研究は,エージェントが多様かつ望ましいスキルのセットを学ぶための,新しい協調的なヒューマンガイド機構である制御された多様性と優先度(CDP)を提案する。 鍵となる原則は、軌道対の人間の選好ラベルを用いて訓練された選好モデルに基づいて望ましいと考えられる領域にスキルの発見を制限することである。 2次元ナビゲーションとMujoco環境に対する我々のアプローチを評価し、多様な、しかし望ましいスキルを発見する能力を示す。

関連論文リスト

• SkiLD: Unsupervised Skill Discovery Guided by Factor Interactions [48.003320766433966]
  この研究は、ローカル依存(スキルド)からのスキル発見を紹介します。 Skildは、環境内の異なる相互作用を誘発するスキルの習得を明示的に促進する、新しいスキル学習の目標を開発する。 本研究では,現実的なシミュレートされた家庭用ロボットドメインを含む,長期にわたる不利な報酬課題を伴う複数の領域におけるスキルドの評価を行った。
  論文  参考訳（メタデータ） (2024-10-24T04:01:59Z)
• SLIM: Skill Learning with Multiple Critics [8.645929825516818]
  自己指導型スキル学習は、環境の基盤となるダイナミクスを活用する有用な行動を取得することを目的としている。 相互情報に基づく潜在変数モデルは、このタスクでは成功したが、ロボット操作の文脈では依然として苦戦している。 SLIMは,ロボット操作に特化して,スキル発見のための多批判学習手法である。
  論文  参考訳（メタデータ） (2024-02-01T18:07:33Z)
• Balancing Both Behavioral Quality and Diversity in Unsupervised Skill Discovery [12.277005054008017]
  この作業はIEEEに提出され、出版される可能性がある。著作権は通知なしで転送され、その後、このバージョンはアクセスできなくなる。 textbfContrastive textbfmulti-objective textbfSkill textbfDiscovery textbf(ComSD)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T12:53:41Z)
• Behavior Contrastive Learning for Unsupervised Skill Discovery [75.6190748711826]
  本研究では,行動間のコントラスト学習による非教師なしスキル発見手法を提案する。 軽度の仮定では、同じスキルに基づいて異なる行動間のMIを最大化する。 提案手法は、状態のエントロピーを暗黙的に増加させ、より良い状態カバレッジを得る。
  論文  参考訳（メタデータ） (2023-05-08T06:02:11Z)
• Controllability-Aware Unsupervised Skill Discovery [94.19932297743439]
  本稿では,非教師なしスキル発見手法であるCSD(Controlability-aware Skill Discovery)を導入する。 CSDの鍵となるコンポーネントは制御可能性を考慮した距離関数であり、現在のスキルで達成が難しい状態遷移により大きな値を割り当てる。 ロボット操作と移動環境の6つの実験結果から、CSDは監督なしで多様な複雑なスキルを発見できることが示された。
  論文  参考訳（メタデータ） (2023-02-10T08:03:09Z)
• Versatile Skill Control via Self-supervised Adversarial Imitation of Unlabeled Mixed Motions [19.626042478612572]
  ラベルのないデータセットから制御可能なスキルセットを用いて多目的ポリシーを得るための協調的敵意的手法を提案する。 生成的模倣学習の枠組みにおいて教師なしのスキル発見を活用することで、新規で有用なスキルが実現し、タスク遂行が成功することを示す。 最後に、得られた多目的ポリシーは、Solo 8と呼ばれるアジャイル四足歩行ロボットでテストされ、デモで符号化された多様なスキルを忠実に再現する。
  論文  参考訳（メタデータ） (2022-09-16T12:49:04Z)
• Learning to Walk Autonomously via Reset-Free Quality-Diversity [73.08073762433376]
  品質多様性アルゴリズムは、多様かつ高いパフォーマンスのスキルからなる大規模で複雑な行動レパートリーを発見することができる。 既存のQDアルゴリズムは、手動による人間の監督と介入を必要とするエピソードリセットと同様に、多数の評価を必要とする。 本稿では,オープンエンド環境におけるロボットの自律学習に向けたステップとして,リセットフリー品質多様性最適化(RF-QD)を提案する。
  論文  参考訳（メタデータ） (2022-04-07T14:07:51Z)
• Rethinking Learning Dynamics in RL using Adversarial Networks [79.56118674435844]
  本稿では,スキル埋め込み空間を通じてパラメータ化された,密接に関連するスキルの強化学習のための学習機構を提案する。 本研究の主な貢献は、エントロピー規則化政策勾配定式化の助けを借りて、強化学習のための敵の訓練体制を定式化することである。
  論文  参考訳（メタデータ） (2022-01-27T19:51:09Z)
• Discovering Generalizable Skills via Automated Generation of Diverse Tasks [82.16392072211337]
  本稿では,多種多様なタスクの自動生成による一般化可能なスキルの発見手法を提案する。 教師なしスキル発見の先行研究とは対照的に,本手法では各スキルをトレーニング可能なタスクジェネレータが生成するユニークなタスクとペアリングする。 生成したタスクにおけるロボットの動作に定義されたタスク判別器を共同で訓練し、多様性目標の低いエビデンスを推定する。 学習スキルは階層的な強化学習アルゴリズムで構成され、目に見えない目標タスクを解決する。
  論文  参考訳（メタデータ） (2021-06-26T03:41:51Z)
• Relative Variational Intrinsic Control [11.328970848714919]
  Relative Variational Intrinsic Control(RVIC)は、エージェントが環境との関係をどのように変えるかで区別できる学習スキルを奨励します。 本稿では,階層的強化学習において,既存の手法によるスキルよりもRVICのスキルが有用であることを示す。
  論文  参考訳（メタデータ） (2020-12-14T18:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。