論文の概要: ELEMENTAL: Interactive Learning from Demonstrations and Vision-Language Models for Reward Design in Robotics

• arxiv url: http://arxiv.org/abs/2411.18825v1
• Date: Wed, 27 Nov 2024 23:58:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:18:44.540476
• Title: ELEMENTAL: Interactive Learning from Demonstrations and Vision-Language Models for Reward Design in Robotics
• Title（参考訳）: ELemental:ロボットにおけるリワードデザインのためのデモとビジョンランゲージモデルからの対話型学習
• Authors: Letian Chen, Matthew Gombolay,
• Abstract要約: 本稿では,自然言語指導と視覚的ユーザデモを組み合わせることで,ロボットの動作とユーザ意図の整合性を向上する新しいフレームワークを提案する。 実験の結果, ELementalはタスク成功率42.3%で先行作業より優れ, アウト・オブ・ディストリビューションタスクにおいて41.3%の高速化を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 1.4579344926652846
• License:
• Abstract: Reinforcement learning (RL) has demonstrated compelling performance in robotic tasks, but its success often hinges on the design of complex, ad hoc reward functions. Researchers have explored how Large Language Models (LLMs) could enable non-expert users to specify reward functions more easily. However, LLMs struggle to balance the importance of different features, generalize poorly to out-of-distribution robotic tasks, and cannot represent the problem properly with only text-based descriptions. To address these challenges, we propose ELEMENTAL (intEractive LEarning froM dEmoNstraTion And Language), a novel framework that combines natural language guidance with visual user demonstrations to align robot behavior with user intentions better. By incorporating visual inputs, ELEMENTAL overcomes the limitations of text-only task specifications, while leveraging inverse reinforcement learning (IRL) to balance feature weights and match the demonstrated behaviors optimally. ELEMENTAL also introduces an iterative feedback-loop through self-reflection to improve feature, reward, and policy learning. Our experiment results demonstrate that ELEMENTAL outperforms prior work by 42.3% on task success, and achieves 41.3% better generalization in out-of-distribution tasks, highlighting its robustness in LfD.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、ロボット作業において魅力的な性能を示すが、その成功はしばしば、複雑なアドホック報酬関数の設計に依存している。 研究者は、Large Language Models(LLM)が、専門家でないユーザが報酬関数をより容易に指定できるようにする方法について検討している。 しかし、LLMは、異なる特徴の重要性のバランスをとるのに苦労し、配布外ロボットタスクをうまく一般化せず、テキストベースの記述だけでは問題を表現することができない。 これらの課題に対処するために,自然言語指導と視覚的ユーザデモを組み合わせることで,ロボット動作とユーザ意図の整合性を向上する新しいフレームワークであるELementAL(intEractive LEarning froM dEmoNstraTion And Language)を提案する。 視覚入力を取り入れることで、ELementalはテキストのみのタスク仕様の制限を克服し、逆強化学習(IRL)を活用して特徴量のバランスをとり、実証された動作を最適に整合させる。 ELementALは、機能、報酬、ポリシー学習を改善するために、自己回帰を通じて反復的なフィードバックループも導入している。 実験の結果,ELementalはタスク成功率42.3%の先行作業に優れ,分散タスクの41.3%の高速化を実現し,LfDの堅牢性を強調した。

関連論文リスト

• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、20Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• RILe: Reinforced Imitation Learning [60.63173816209543]
  RILeは、模倣学習と逆強化学習の強みを組み合わせて、高密度報酬関数を効率的に学習するフレームワークである。 本フレームワークは, 直接模倣が複雑な動作を再現できないような高次元タスクにおいて, 高い性能のポリシーを生成する。
  論文  参考訳（メタデータ） (2024-06-12T17:56:31Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Large Language Models for Robotics: Opportunities, Challenges, and Perspectives [46.57277568357048]
  大規模言語モデル(LLM)は大幅に拡張され、様々な領域にまたがって統合されている。 ロボットが複雑な環境と対話する具体的タスクでは、テキストのみのLLMは、ロボットの視覚知覚との互換性が欠如しているため、しばしば課題に直面している。 本稿では,マルチモーダル GPT-4V を利用して,自然言語命令とロボットの視覚認識を組み合わせることで,具体的タスク計画を強化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-09T03:22:16Z)
• Accelerating Reinforcement Learning of Robotic Manipulations via Feedback from Large Language Models [21.052532074815765]
  本稿では,Lafite-RL (Language Agent feedback Interactive Reinforcement Learning) フレームワークを紹介する。 RLエージェントは、Large Language Modelsのタイムリーフィードバックを利用して、ロボットタスクを効率的に学習することができる。 学習効率と成功率の両方でベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-11-04T11:21:38Z)
• Learning Reward for Physical Skills using Large Language Model [5.795405764196473]
  大規模言語モデルは、報酬関数の学習に役立つ貴重なタスク関連の知識を含んでいる。 本研究では,環境フィードバックを用いてLCMからタスク知識を抽出し,身体的スキルに対する効率的な報酬関数を作成することを目的とする。
  論文  参考訳（メタデータ） (2023-10-21T19:10:06Z)
• Self-Convinced Prompting: Few-Shot Question Answering with Repeated Introspection [13.608076739368949]
  本稿では,大規模事前学習型言語モデルの可能性を活用する新しいフレームワークを提案する。 我々のフレームワークは、典型的な数発の連鎖プロンプトの出力を処理し、応答の正しさを評価し、回答を精査し、最終的には新しい解を生成する。
  論文  参考訳（メタデータ） (2023-10-08T06:36:26Z)
• Self-Refined Large Language Model as Automated Reward Function Designer for Deep Reinforcement Learning in Robotics [14.773498542408264]
  大規模言語モデル(LLM)は、深い常識の知識を必要とするタスクに対応するために広く採用されている。 本稿では,自動報酬関数設計のための自己補充機構を備えた新しいLLMフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-13T02:56:56Z)
• AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot Manipulation [50.737355245505334]
  本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。 得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
  論文  参考訳（メタデータ） (2023-05-30T09:54:20Z)
• What Makes Good In-context Demonstrations for Code Intelligence Tasks with LLMs? [60.668318972782295]
  大規模言語モデルは、文脈内学習(ICL)の能力を示している。 ICLはタスク命令といくつかの例をデモとして使用し、次に予測を行うために言語モデルにデモを入力します。 コードに関連するタスクに対して,優れたデモを構築する方法について,体系的に検討することが重要である。
  論文  参考訳（メタデータ） (2023-04-15T15:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。