論文の概要: "No, to the Right" -- Online Language Corrections for Robotic Manipulation via Shared Autonomy

• arxiv url: http://arxiv.org/abs/2301.02555v1
• Date: Fri, 6 Jan 2023 15:03:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-09 23:14:27.473508
• Title: "No, to the Right" -- Online Language Corrections for Robotic Manipulation via Shared Autonomy
• Title（参考訳）: no, to the right" --共有自律性によるロボット操作のためのオンライン言語修正
• Authors: Yuchen Cui and Siddharth Karamcheti and Raj Palleti and Nidhya Shivakumar and Percy Liang and Dorsa Sadigh
• Abstract要約: LILACは、実行中に自然言語の修正をオンラインで実施し、適応するためのフレームワークである。 LILACは人間とロボットを個別にターンテイクする代わりに、人間とロボットの間にエージェンシーを分割する。 提案手法は,タスク完了率が高く,ユーザによって主観的に好まれることを示す。
• 参考スコア（独自算出の注目度）: 70.45420918526926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Systems for language-guided human-robot interaction must satisfy two key desiderata for broad adoption: adaptivity and learning efficiency. Unfortunately, existing instruction-following agents cannot adapt, lacking the ability to incorporate online natural language supervision, and even if they could, require hundreds of demonstrations to learn even simple policies. In this work, we address these problems by presenting Language-Informed Latent Actions with Corrections (LILAC), a framework for incorporating and adapting to natural language corrections - "to the right," or "no, towards the book" - online, during execution. We explore rich manipulation domains within a shared autonomy paradigm. Instead of discrete turn-taking between a human and robot, LILAC splits agency between the human and robot: language is an input to a learned model that produces a meaningful, low-dimensional control space that the human can use to guide the robot. Each real-time correction refines the human's control space, enabling precise, extended behaviors - with the added benefit of requiring only a handful of demonstrations to learn. We evaluate our approach via a user study where users work with a Franka Emika Panda manipulator to complete complex manipulation tasks. Compared to existing learned baselines covering both open-loop instruction following and single-turn shared autonomy, we show that our corrections-aware approach obtains higher task completion rates, and is subjectively preferred by users because of its reliability, precision, and ease of use.
• Abstract（参考訳）: 言語誘導型ロボットインタラクションのためのシステムは、適応性と学習効率の2つの重要なデシダータを満たす必要がある。 残念ながら、既存のインストラクションフォローエージェントは適応できず、オンライン自然言語監視を組み込む能力が欠如している。 本研究では,自然言語の修正を取り入れ,適応するためのフレームワークであるLanguage-Informed Latent Actions with Corrections (LILAC) を,実行中に「右へ」あるいは「右へ」あるいは「右へ」に向けて提示することで,これらの問題に対処する。 我々は共有自律性パラダイムの中でリッチ操作ドメインを探求する。 言語は、人間がロボットをガイドするために使用できる有意義で低次元の制御空間を生成する学習されたモデルへの入力です。 それぞれのリアルタイム補正は、人間のコントロール空間を洗練し、正確で拡張された動作を可能にします。 我々は,Franka Emika Pandaマニピュレータを用いて複雑な操作作業を行うユーザスタディを通じて,我々のアプローチを評価する。 オープンループ指導とシングルターン共有自律の両方を対象とする既存の学習ベースラインと比較して,我々の修正認識アプローチはタスク完了率が高く,信頼性,正確性,使いやすさから,ユーザによって主観的に好まれることを示す。

関連論文リスト

• Human-Robot Mutual Learning through Affective-Linguistic Interaction and Differential Outcomes Training [Pre-Print] [0.3811184252495269]
  本研究では,感情言語コミュニケーションが人間ロボットの文脈における相互学習にどのように影響するかを検証する。 児童介護のダイナミックスからインスピレーションを得て、私たちの人間とロボットのインタラクションのセットアップは、内部的、ホメオスタティックに制御されたニーズのコミュニケーション方法を学ぶための(シミュレートされた)ロボットで構成されています。
  論文  参考訳（メタデータ） (2024-07-01T13:35:08Z)
• Interpretable Robotic Manipulation from Language [11.207620790833271]
  本稿では,操作タスクに特化して設計された,Ex-PERACTという説明可能な行動クローニングエージェントを紹介する。 トップレベルでは、モデルは個別のスキルコードを学ぶことを任務とし、下位レベルでは、ポリシーネットワークは問題をボクセル化されたグリッドに変換し、離散化されたアクションをボクセルグリッドにマップする。 提案手法は,RLBenchベンチマークを用いた8つの操作課題にまたがって評価し,Ex-PERACTが競合する政策性能を達成するだけでなく,複雑な環境下でのヒューマンインストラクションとマシン実行のギャップを効果的に橋渡しすることを示した。
  論文  参考訳（メタデータ） (2024-05-27T11:02:21Z)
• Policy Learning with a Language Bottleneck [65.99843627646018]
  PLLBB(Policy Learning with a Language Bottleneck)は、AIエージェントが言語規則を生成するためのフレームワークである。 PLLBBは、言語モデルによってガイドされるルール生成ステップと、エージェントがルールによってガイドされる新しいポリシーを学ぶ更新ステップとを交互に使用する。 2人のプレイヤーによるコミュニケーションゲーム、迷路解決タスク、および2つの画像再構成タスクにおいて、PLLBBエージェントはより解釈可能で一般化可能な振る舞いを学習できるだけでなく、学習したルールを人間のユーザと共有できることを示す。
  論文  参考訳（メタデータ） (2024-05-07T08:40:21Z)
• Exploring Large Language Models to Facilitate Variable Autonomy for Human-Robot Teaming [4.779196219827508]
  本稿では,VR(Unity Virtual Reality)設定に基づく,GPTを利用したマルチロボットテストベッド環境のための新しいフレームワークを提案する。 このシステムにより、ユーザーは自然言語でロボットエージェントと対話でき、それぞれが個々のGPTコアで動く。 12人の参加者によるユーザスタディでは、GPT-4の有効性と、さらに重要なのは、マルチロボット環境で自然言語で会話する機会を与えられる際のユーザ戦略について検討している。
  論文  参考訳（メタデータ） (2023-12-12T12:26:48Z)
• Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot [52.277579221741746]
  住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。 人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。 本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
  論文  参考訳（メタデータ） (2023-11-09T13:01:21Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation [80.29069988090912]
  本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。 クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。 提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-02T17:42:13Z)
• Language-Conditioned Imitation Learning for Robot Manipulation Tasks [39.40937105264774]
  本研究では,非構造化自然言語を模倣学習に組み込む手法を提案する。 訓練時には、専門家は、基礎となる意図を説明するために、言語記述とともにデモンストレーションを行うことができる。 トレーニングプロセスはこれらの2つのモードを相互に関連付け、言語、知覚、動きの相関を符号化する。 結果として得られた言語条件のvisuomotorポリシーは、実行時に新しいヒューマンコマンドと命令で条件付けできる。
  論文  参考訳（メタデータ） (2020-10-22T21:49:08Z)
• Learning Adaptive Language Interfaces through Decomposition [89.21937539950966]
  本稿では,分解による新しいハイレベルな抽象化を学習するニューラルセマンティック解析システムを提案する。 ユーザは、新しい振る舞いを記述する高レベルな発話を低レベルなステップに分解することで、対話的にシステムを教える。
  論文  参考訳（メタデータ） (2020-10-11T08:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。