論文の概要: Helpful DoggyBot: Open-World Object Fetching using Legged Robots and Vision-Language Models

• arxiv url: http://arxiv.org/abs/2410.00231v1
• Date: Mon, 30 Sep 2024 20:58:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 06:56:01.894095
• Title: Helpful DoggyBot: Open-World Object Fetching using Legged Robots and Vision-Language Models
• Title（参考訳）: Helpful DoggyBot:Legged RobotsとVision-Language Modelを用いたオープンワールドオブジェクトフェッチ
• Authors: Qi Wu, Zipeng Fu, Xuxin Cheng, Xiaolong Wang, Chelsea Finn,
• Abstract要約: 室内環境における四足歩行操作のためのシステムを提案する。 オブジェクト操作にはフロントマウントのグリップを使用しており、アジャイルスキルにエゴセントリックな深さを使ってシミュレーションでトレーニングされた低レベルのコントローラである。 実世界のデータ収集やトレーニングを行なわずに、2つの目に見えない環境でシステムを評価する。
• 参考スコア（独自算出の注目度）: 63.89598561397856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning-based methods have achieved strong performance for quadrupedal locomotion. However, several challenges prevent quadrupeds from learning helpful indoor skills that require interaction with environments and humans: lack of end-effectors for manipulation, limited semantic understanding using only simulation data, and low traversability and reachability in indoor environments. We present a system for quadrupedal mobile manipulation in indoor environments. It uses a front-mounted gripper for object manipulation, a low-level controller trained in simulation using egocentric depth for agile skills like climbing and whole-body tilting, and pre-trained vision-language models (VLMs) with a third-person fisheye and an egocentric RGB camera for semantic understanding and command generation. We evaluate our system in two unseen environments without any real-world data collection or training. Our system can zero-shot generalize to these environments and complete tasks, like following user's commands to fetch a randomly placed stuff toy after climbing over a queen-sized bed, with a 60% success rate. Project website: https://helpful-doggybot.github.io/
• Abstract（参考訳）: 学習に基づく手法は四足歩行において高い性能を達成している。 しかし、いくつかの課題は、環境と人間との相互作用を必要とする有能な屋内スキルを学ぶことを妨げる:操作のためのエンドエフェクターの欠如、シミュレーションデータのみを用いた限定的な意味理解、屋内環境におけるトラバーサビリティと到達可能性の低下である。 室内環境における四足歩行操作のためのシステムを提案する。 オブジェクト操作にはフロントマウントのグリップ、登山や体全体を傾けるようなアジャイルスキルにエゴセントリックな深さを用いたシミュレーションで訓練された低レベルコントローラ、そしてセマンティック理解とコマンド生成のために3人目の魚眼とエゴセントリックなRGBカメラを備えた事前訓練された視覚言語モデル(VLM)を使用する。 実世界のデータ収集やトレーニングを行なわずに、2つの目に見えない環境でシステムを評価する。 我々のシステムは、これらの環境をゼロショットで一般化し、ユーザのコマンドに従って、クイーンサイズのベッドに登った後、ランダムに配置されたおもちゃを60%の成功率で取り出すことができる。 プロジェクトサイト:https://helpful-doggybot.github.io/

関連論文リスト

• KALIE: Fine-Tuning Vision-Language Models for Open-World Manipulation without Robot Data [45.25288643161976]
  本稿では,ロボット制御をスケーラブルに行うために,KALIE(Keypoint Affordance Learning from Imagined Environments)を提案する。 モーターコマンドを直接生成する代わりに、KALIEはポイントベースの価格表現を予測してロボットを制御する。 我々はKALIEが、50個のデータポイントしか持たない未確認オブジェクトで、新しい操作タスクを堅牢に解くことができることを実証した。
  論文  参考訳（メタデータ） (2024-09-21T08:45:16Z)
• Dexterous Functional Grasping [39.15442658671798]
  本稿では,両世界の長所を組み合わさって,対象物の機能的把握を実現する。 少数の人的データを用いてRLの探索空間を削減するための固有グラスプの新規な応用を提案する。 固有グラフプ動作空間は,シミュレーションにおいてベースラインを上回り,実戦におけるハードコードグリップよりも優れ,訓練された人間の遠隔操作者よりも優れることがわかった。
  論文  参考訳（メタデータ） (2023-12-05T18:59:23Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
  そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。 既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。 仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-21T09:22:24Z)
• Affordances from Human Videos as a Versatile Representation for Robotics [31.248842798600606]
  我々は、人間がどこでどのように対話するかを推定する視覚的余裕モデルを訓練する。 これらの行動割当の構造は、ロボットが多くの複雑なタスクを直接実行できるようにする。 私たちは、VRBと呼ばれる4つの現実世界環境、10以上のタスクと2つのロボットプラットフォームにおいて、私たちのアプローチの有効性を示します。
  論文  参考訳（メタデータ） (2023-04-17T17:59:34Z)
• Legs as Manipulator: Pushing Quadrupedal Agility Beyond Locomotion [34.33972863987201]
  我々は四足歩行ロボットを訓練し、前脚を使って壁を登り、ボタンを押し、現実世界でオブジェクトインタラクションを行う。 これらのスキルはカリキュラムを用いてシミュレーションで訓練され,提案したsim2real 変種を用いて実世界へ移行する。 我々は,本手法をシミュレーションと実世界の双方で評価し,短距離および長距離のタスクの実行を成功させたことを示す。
  論文  参考訳（メタデータ） (2023-03-20T17:59:58Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• DexTransfer: Real World Multi-fingered Dexterous Grasping with Minimal Human Demonstrations [51.87067543670535]
  本研究では,少数の人間によるデモンストレーションを行い,見えない物体のポーズを学習するロボット学習システムを提案する。 我々は,物体の点群を入力として捉え,物体を異なる初期ロボット状態から把握するための連続的な動作を予測する,厳密な把握ポリシーを訓練する。 我々のデータセットから学んだポリシーは、シミュレーションと現実世界の両方で見えないオブジェクトのポーズをうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-09-28T17:51:49Z)
• HSC4D: Human-centered 4D Scene Capture in Large-scale Indoor-outdoor Space Using Wearable IMUs and LiDAR [51.9200422793806]
  ボディマウントのIMUとLiDARのみを使用することで、HSC4Dは外部機器の制約なしに空間自由となり、マップ無しで事前に構築された地図を作成できる。 人間と環境の関係も研究され、対話をより現実的なものにしている。
  論文  参考訳（メタデータ） (2022-03-17T10:05:55Z)
• Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos [59.58105314783289]
  ドメインに依存しないビデオ識別器(DVD)は、2つのビデオが同じタスクを実行しているかどうかを判断するために識別器を訓練することによりマルチタスク報酬関数を学習する。 DVDは、人間のビデオの広いデータセットで少量のロボットデータから学習することで、一般化することができる。 DVDと視覚モデル予測制御を組み合わせることで、実際のWidowX200ロボットのロボット操作タスクを単一の人間のデモから未知の環境で解決できます。
  論文  参考訳（メタデータ） (2021-03-31T05:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。