論文の概要: Vocal Sandbox: Continual Learning and Adaptation for Situated Human-Robot Collaboration

• arxiv url: http://arxiv.org/abs/2411.02599v1
• Date: Mon, 04 Nov 2024 20:44:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:01:52.243878
• Title: Vocal Sandbox: Continual Learning and Adaptation for Situated Human-Robot Collaboration
• Title（参考訳）: 音声サンドボックス:人間-ロボット協調のための継続的な学習と適応
• Authors: Jennifer Grannen, Siddharth Karamcheti, Suvir Mirchandani, Percy Liang, Dorsa Sadigh,
• Abstract要約: Vocal Sandboxは、位置のある環境でシームレスな人間とロボットのコラボレーションを可能にするフレームワークである。 我々は,ロボットの能力に対する理解と協調をリアルタイムで構築できる軽量で解釈可能な学習アルゴリズムを設計する。 我々はVocal Sandboxを,コラボレーションギフトバッグアセンブリとLEGOストップモーションアニメーションの2つの設定で評価した。
• 参考スコア（独自算出の注目度）: 64.6107798750142
• License:
• Abstract: We introduce Vocal Sandbox, a framework for enabling seamless human-robot collaboration in situated environments. Systems in our framework are characterized by their ability to adapt and continually learn at multiple levels of abstraction from diverse teaching modalities such as spoken dialogue, object keypoints, and kinesthetic demonstrations. To enable such adaptation, we design lightweight and interpretable learning algorithms that allow users to build an understanding and co-adapt to a robot's capabilities in real-time, as they teach new behaviors. For example, after demonstrating a new low-level skill for "tracking around" an object, users are provided with trajectory visualizations of the robot's intended motion when asked to track a new object. Similarly, users teach high-level planning behaviors through spoken dialogue, using pretrained language models to synthesize behaviors such as "packing an object away" as compositions of low-level skills $-$ concepts that can be reused and built upon. We evaluate Vocal Sandbox in two settings: collaborative gift bag assembly and LEGO stop-motion animation. In the first setting, we run systematic ablations and user studies with 8 non-expert participants, highlighting the impact of multi-level teaching. Across 23 hours of total robot interaction time, users teach 17 new high-level behaviors with an average of 16 novel low-level skills, requiring 22.1% less active supervision compared to baselines and yielding more complex autonomous performance (+19.7%) with fewer failures (-67.1%). Qualitatively, users strongly prefer Vocal Sandbox systems due to their ease of use (+20.6%) and overall performance (+13.9%). Finally, we pair an experienced system-user with a robot to film a stop-motion animation; over two hours of continuous collaboration, the user teaches progressively more complex motion skills to shoot a 52 second (232 frame) movie.
• Abstract（参考訳）: 位置のある環境でシームレスな人間とロボットのコラボレーションを可能にするフレームワークであるVocal Sandboxを紹介した。 本フレームワークのシステムの特徴は,音声対話,オブジェクトキーポイント,審美的デモンストレーションなど,多様な教科のモダリティから,多段階の抽象化を適応し,継続的に学習できることにある。 このような適応を可能にするために,我々は,ロボットが新しい行動を教える際に,ロボットの能力をリアルタイムで理解し,協調的に適応することのできる,軽量で解釈可能な学習アルゴリズムを設計する。 例えば、オブジェクトを"追跡する"ための新しい低レベルスキルをデモした後、ユーザーは、新しいオブジェクトを追跡するように要求されたときに、ロボットの意図した動きの軌跡視覚化を提供する。 同様に、ユーザーは音声対話を通じてハイレベルな計画行動を教え、事前訓練された言語モデルを使用して、再利用および構築可能な低レベルなスキルの合成として「オブジェクトのパッケージング」のような振る舞いを合成する。 我々はVocal Sandboxを,コラボレーションギフトバッグアセンブリとLEGOストップモーションアニメーションの2つの設定で評価した。 最初の段階では,8人の非専門家を対象に,体系的な改善とユーザスタディを実施し,マルチレベル教育の影響を強調した。 23時間にわたって、ユーザーは平均16の新たな低レベルスキルを持つ17の新しいハイレベルな振る舞いを教え、ベースラインに比べて22.1%のアクティブな監督が必要であり、より複雑な自律的パフォーマンス(+19.7%)と、より少ない障害(-67.1%)をもたらす。 定性的には、ユーザはVocal Sandboxシステム(+20.6%)と全体的なパフォーマンス(+13.9%)を強く好んでいる。 最後に、経験豊富なシステムユーザーとロボットをペアにしてストップモーションアニメーションを撮影し、2時間にわたる継続的なコラボレーションにより、ユーザーは52秒(232フレーム)の映画を撮影するために、より複雑なモーションスキルを徐々に教える。

関連論文リスト

• Continual Skill and Task Learning via Dialogue [3.3511259017219297]
  連続的かつ対話的なロボット学習は、ロボットが人間のユーザーと一緒にいるため、難しい問題である。 本稿では,人間との対話を通じて,ロボットがロボットのスキルを質問し,学習し,関連する情報を処理するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-05T01:51:54Z)
• Yell At Your Robot: Improving On-the-Fly from Language Corrections [84.09578841663195]
  高いレベルのポリシーは、人間のフィードバックによって言語修正の形で容易に管理できることを示す。 このフレームワークは、ロボットがリアルタイムの言語フィードバックに迅速に適応するだけでなく、このフィードバックを反復的なトレーニングスキームに組み込むことを可能にする。
  論文  参考訳（メタデータ） (2024-03-19T17:08:24Z)
• Towards Embedding Dynamic Personas in Interactive Robots: Masquerading Animated Social Kinematics (MASK) [10.351714893090964]
  本稿では,キャラクターライクなペルソナを用いたユーザエンゲージメントを高める革新的な対話型ロボットシステムの設計と開発について述べる。 ペルソナ駆動のダイアログエージェントの基礎の上に構築されたこの研究は、エージェントを物理的な領域に拡張し、ロボットを使ってより魅了的で対話的な体験を提供する。
  論文  参考訳（メタデータ） (2024-03-15T06:22:32Z)
• Dynamic Hand Gesture-Featured Human Motor Adaptation in Tool Delivery using Voice Recognition [5.13619372598999]
  本稿では,革新的なロボット協調フレームワークを提案する。 手の動きや動的動きの認識、音声認識、切り替え可能な制御適応戦略をシームレスに統合する。 ハンドジェスチャ認識における優れた性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2023-09-20T14:51:09Z)
• Affordances from Human Videos as a Versatile Representation for Robotics [31.248842798600606]
  我々は、人間がどこでどのように対話するかを推定する視覚的余裕モデルを訓練する。 これらの行動割当の構造は、ロボットが多くの複雑なタスクを直接実行できるようにする。 私たちは、VRBと呼ばれる4つの現実世界環境、10以上のタスクと2つのロボットプラットフォームにおいて、私たちのアプローチの有効性を示します。
  論文  参考訳（メタデータ） (2023-04-17T17:59:34Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks [59.098560311521034]
  我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。 我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。 我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
  論文  参考訳（メタデータ） (2022-03-29T15:03:05Z)
• Talk-to-Resolve: Combining scene understanding and spatial dialogue to resolve granular task ambiguity for a collocated robot [15.408128612723882]
  ロボットのコロケーションの実用性は、人間との容易で直感的な相互作用機構に大きく依存する。 本稿では,TTR(Talk-to-Resolve)と呼ばれるシステムについて述べる。 本システムでは,82%の精度でスタレマトを同定し,適切な対話交換で解決することができる。
  論文  参考訳（メタデータ） (2021-11-22T10:42:59Z)
• Learning Adaptive Language Interfaces through Decomposition [89.21937539950966]
  本稿では,分解による新しいハイレベルな抽象化を学習するニューラルセマンティック解析システムを提案する。 ユーザは、新しい振る舞いを記述する高レベルな発話を低レベルなステップに分解することで、対話的にシステムを教える。
  論文  参考訳（メタデータ） (2020-10-11T08:27:07Z)
• Learning Agile Robotic Locomotion Skills by Imitating Animals [72.36395376558984]
  動物の多様でアジャイルな運動スキルを再現することは、ロボット工学における長年の課題である。 そこで本研究では,現実世界の動物を模倣することで,足のロボットがアジャイルな運動能力を学ぶことができる模倣学習システムを提案する。
  論文  参考訳（メタデータ） (2020-04-02T02:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。