論文の概要: Language Guided Skill Discovery

• arxiv url: http://arxiv.org/abs/2406.06615v1
• Date: Fri, 7 Jun 2024 04:25:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 21:04:26.886953
• Title: Language Guided Skill Discovery
• Title（参考訳）: 言語ガイドによるスキル発見
• Authors: Seungeun Rho, Laura Smith, Tianyu Li, Sergey Levine, Xue Bin Peng, Sehoon Ha,
• Abstract要約: 言語ガイドスキル発見(LGSD)を導入し,スキル間の意味的多様性を最大化する。 LGSDはユーザープロンプトを入力として取り、セマンティックなスキルのセットを出力する。 本研究は,LGSDにより,単にプロンプトを変更するだけで,手足のロボットが平面上の異なるユーザ意図のエリアを訪問できることを実証する。
• 参考スコア（独自算出の注目度）: 56.84356022198222
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Skill discovery methods enable agents to learn diverse emergent behaviors without explicit rewards. To make learned skills useful for unknown downstream tasks, obtaining a semantically diverse repertoire of skills is essential. While some approaches introduce a discriminator to distinguish skills and others aim to increase state coverage, no existing work directly addresses the "semantic diversity" of skills. We hypothesize that leveraging the semantic knowledge of large language models (LLMs) can lead us to improve semantic diversity of resulting behaviors. In this sense, we introduce Language Guided Skill Discovery (LGSD), a skill discovery framework that aims to directly maximize the semantic diversity between skills. LGSD takes user prompts as input and outputs a set of semantically distinctive skills. The prompts serve as a means to constrain the search space into a semantically desired subspace, and the generated LLM outputs guide the agent to visit semantically diverse states within the subspace. We demonstrate that LGSD enables legged robots to visit different user-intended areas on a plane by simply changing the prompt. Furthermore, we show that language guidance aids in discovering more diverse skills compared to five existing skill discovery methods in robot-arm manipulation environments. Lastly, LGSD provides a simple way of utilizing learned skills via natural language.
• Abstract（参考訳）: スキル発見手法により、エージェントは明確な報酬なしに多様な創発的行動を学ぶことができる。 未知の下流作業に役立てるためには、意味的に多様なスキルのレパートリーを得ることが不可欠である。 一部のアプローチでは、スキルを区別する差別装置を導入し、他のアプローチでは、国家のカバレッジを高めることを目的としているが、既存の作業では、スキルの「セマンティックな多様性」に直接対処していない。 大規模言語モデル(LLM)のセマンティックな知識を活用することで、結果の振る舞いのセマンティックな多様性を改善することができると仮定する。 この意味では、スキル間のセマンティックな多様性を直接最大化することを目的とした、スキル発見フレームワークであるLanguage Guided Skill Discovery (LGSD)を紹介する。 LGSDはユーザープロンプトを入力として取り、セマンティックなスキルのセットを出力する。 プロンプトは、サーチスペースを意味的に望ましいサブスペースに制約する手段として機能し、生成されたLCM出力は、サブスペース内の意味的に多様な状態にアクセスするようにエージェントを誘導する。 本研究は,LGSDにより,単にプロンプトを変更するだけで,手足のロボットが平面上の異なるユーザ意図のエリアを訪問できることを実証する。 さらに,ロボットアーム操作環境において,既存の5つのスキル発見手法と比較して,言語指導がより多様なスキルを発見するのに役立つことを示す。 最後に、LGSDは学習したスキルを自然言語で簡単に活用する方法を提供する。

関連論文リスト

• Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use [16.425032085699698]
  具体的エージェントは、人間の言語を活用して、学習タスクの明示的または暗黙的な知識を得る能力を持つことが望ましい。 タスク学習を容易にするために、リッチ言語をどのように組み込むかは明確ではない。 本稿では,強化学習における言語入力の種類について検討する。
  論文  参考訳（メタデータ） (2024-10-31T17:59:52Z)
• SkiLD: Unsupervised Skill Discovery Guided by Factor Interactions [48.003320766433966]
  この研究は、ローカル依存(スキルド)からのスキル発見を紹介します。 Skildは、環境内の異なる相互作用を誘発するスキルの習得を明示的に促進する、新しいスキル学習の目標を開発する。 本研究では,現実的なシミュレートされた家庭用ロボットドメインを含む,長期にわたる不利な報酬課題を伴う複数の領域におけるスキルドの評価を行った。
  論文  参考訳（メタデータ） (2024-10-24T04:01:59Z)
• Exploration by Learning Diverse Skills through Successor State Measures [5.062282108230929]
  状態空間を均一にカバーする多様なスキルのセットを構築することを目的としている。 我々は,各スキルに規定された政策によって到達した国家の分布を考察し,後継国家対策を活用する。 この新たな形式化により,より堅牢で効率的な探査が可能となった。
  論文  参考訳（メタデータ） (2024-06-14T15:36:15Z)
• Rethinking Mutual Information for Language Conditioned Skill Discovery on Imitation Learning [36.624923972563415]
  我々はLanguage Conditioned Skill Discovery (LCSD)として知られるエンドツーエンドの模倣学習手法を提案する。 ベクトル量子化を利用して離散潜在スキルを学習し、軌跡のスキルシーケンスを活用して高レベルの意味的命令を再構築する。 提案手法は,未確認タスクに対する一般化能力の向上,スキル解釈性の向上,タスク完了の成功率の向上などを示す。
  論文  参考訳（メタデータ） (2024-02-27T13:53:52Z)
• Choreographer: Learning and Adapting Skills in Imagination [60.09911483010824]
  我々は、その世界モデルを利用して想像力のスキルを学び、適応するモデルベースのエージェントであるChoreographerを紹介する。 提案手法は探索とスキル学習のプロセスを切り離し,モデルの潜在状態空間におけるスキルの発見を可能にする。 Choreographerはオフラインデータからスキルを学ぶことができ、探索ポリシーと同時にデータを集めることができる。
  論文  参考訳（メタデータ） (2022-11-23T23:31:14Z)
• Multilingual Word Sense Disambiguation with Unified Sense Representation [55.3061179361177]
  本稿では,知識と教師付き多言語単語センス曖昧化(MWSD)システムを提案する。 我々は複数の言語に統一されたセンス表現を構築し、リッチソース言語から貧しい言語へアノテーションを転送することでMWSDのアノテーション不足問題に対処する。 SemEval-13およびSemEval-15データセットの評価により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-10-14T01:24:03Z)
• LISA: Learning Interpretable Skill Abstractions from Language [85.20587800593293]
  言語条件による実演から多種多様な解釈可能なスキルを学習できる階層型模倣学習フレームワークを提案する。 本手法は, 逐次的意思決定問題において, 言語に対するより自然な条件付け方法を示す。
  論文  参考訳（メタデータ） (2022-02-28T19:43:24Z)
• Lipschitz-constrained Unsupervised Skill Discovery [91.51219447057817]
  LSD(Lipschitz-Constrained Skill Discovery)は、エージェントがより多様性があり、ダイナミックで、より遠縁なスキルを発見することを奨励する。 LSDは7つの下流タスクにおいて、スキルの多様性、状態空間のカバレッジ、パフォーマンスという点で、従来のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-02-02T08:29:04Z)
• Relative Variational Intrinsic Control [11.328970848714919]
  Relative Variational Intrinsic Control(RVIC)は、エージェントが環境との関係をどのように変えるかで区別できる学習スキルを奨励します。 本稿では,階層的強化学習において,既存の手法によるスキルよりもRVICのスキルが有用であることを示す。
  論文  参考訳（メタデータ） (2020-12-14T18:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。