論文の概要: Unifying 3D Representation and Control of Diverse Robots with a Single Camera

• arxiv url: http://arxiv.org/abs/2407.08722v1
• Date: Thu, 11 Jul 2024 17:55:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 16:09:12.619875
• Title: Unifying 3D Representation and Control of Diverse Robots with a Single Camera
• Title（参考訳）: カメラ1台によるロボットの3次元表現と制御
• Authors: Sizhe Lester Li, Annan Zhang, Boyuan Chen, Hanna Matusik, Chao Liu, Daniela Rus, Vincent Sitzmann,
• Abstract要約: 我々は,ロボットを視覚のみからモデル化し,制御することを自律的に学習するアーキテクチャであるNeural Jacobian Fieldsを紹介する。 提案手法は,正確なクローズドループ制御を実現し,各ロボットの因果動的構造を復元する。
• 参考スコア（独自算出の注目度）: 48.279199537720714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mirroring the complex structures and diverse functions of natural organisms is a long-standing challenge in robotics. Modern fabrication techniques have dramatically expanded feasible hardware, yet deploying these systems requires control software to translate desired motions into actuator commands. While conventional robots can easily be modeled as rigid links connected via joints, it remains an open challenge to model and control bio-inspired robots that are often multi-material or soft, lack sensing capabilities, and may change their material properties with use. Here, we introduce Neural Jacobian Fields, an architecture that autonomously learns to model and control robots from vision alone. Our approach makes no assumptions about the robot's materials, actuation, or sensing, requires only a single camera for control, and learns to control the robot without expert intervention by observing the execution of random commands. We demonstrate our method on a diverse set of robot manipulators, varying in actuation, materials, fabrication, and cost. Our approach achieves accurate closed-loop control and recovers the causal dynamic structure of each robot. By enabling robot control with a generic camera as the only sensor, we anticipate our work will dramatically broaden the design space of robotic systems and serve as a starting point for lowering the barrier to robotic automation.
• Abstract（参考訳）: 自然生物の複雑な構造と多様な機能を反映することは、ロボット工学における長年の課題である。 現代の製造技術は、実現可能なハードウェアを劇的に拡張してきたが、これらのシステムをデプロイするには、望ましい動作をアクチュエータコマンドに変換する制御ソフトウェアが必要である。 従来のロボットは、関節を介して接続された剛体リンクとして容易にモデル化できるが、多素材または軟質で、知覚能力が欠如しており、使用によって材料特性を変化させる可能性のある、バイオインスパイアされたロボットをモデル化し、制御することは、依然としてオープンな課題である。 本稿では,ロボットを視覚のみからモデル化し,制御することを自律的に学習するアーキテクチャであるNeural Jacobian Fieldsを紹介する。 提案手法では,ロボットの素材,動作,感覚に関する仮定は行わず,制御に1台のカメラしか必要とせず,ランダムコマンドの実行を観察することで,専門家の介入なしにロボットを制御できることを学習する。 本研究では,動作,材料,製作,コストの異なる多様なロボットマニピュレータに対して,本手法を実証する。 提案手法は,正確なクローズドループ制御を実現し,各ロボットの因果動的構造を復元する。 汎用カメラを唯一のセンサーとするロボット制御を可能にすることで、ロボットシステムの設計空間を劇的に拡大し、ロボット自動化の障壁を低くする出発点になることを期待している。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• Correspondence learning between morphologically different robots via task demonstrations [2.1374208474242815]
  形態の異なる2つ以上のロボットの対応関係を学習する手法を提案する。 本提案手法では,関節制御付き固定ベースマニピュレータロボットと差動駆動移動ロボットとが対応可能である。 本研究では,実際のマニピュレータロボットとシミュレートされた移動ロボットとの対応学習の概念実証を行う。
  論文  参考訳（メタデータ） (2023-10-20T12:42:06Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• GenLoco: Generalized Locomotion Controllers for Quadrupedal Robots [87.32145104894754]
  四足歩行ロボットのための汎用ロコモーション(GenLoco)コントローラを訓練するためのフレームワークを提案する。 本フレームワークは,多種多様な四足歩行ロボットに展開可能な汎用ロコモーションコントローラを合成する。 我々のモデルは、より一般的な制御戦略を取得し、新しいシミュレーションロボットや実世界のロボットに直接移行できることを示す。
  論文  参考訳（メタデータ） (2022-09-12T15:14:32Z)
• A Transferable Legged Mobile Manipulation Framework Based on Disturbance Predictive Control [15.044159090957292]
  四足歩行ロボットにロボットアームを装着した足の移動操作は、ロボットの性能を大幅に向上させる。 本稿では,潜在動的アダプタを用いた強化学習スキームを低レベルコントローラに組み込んだ統合フレームワーク外乱予測制御を提案する。
  論文  参考訳（メタデータ） (2022-03-02T14:54:10Z)
• Know Thyself: Transferable Visuomotor Control Through Robot-Awareness [22.405839096833937]
  新しいロボットをスクラッチからトレーニングするためには、通常大量のロボット固有のデータを生成する必要がある。 簡単なロボット「自己認識」を活用する「ロボット認識」ソリューションパラダイムを提案する。 シミュレーションおよび実際のロボットにおけるテーブルトップ操作に関する実験により、これらのプラグインの改善により、ビジュモータコントローラの転送性が劇的に向上することを示した。
  論文  参考訳（メタデータ） (2021-07-19T17:56:04Z)
• Single-view robot pose and joint angle estimation via render & compare [40.05546237998603]
  本稿では,1枚のRGB画像から関節角度と6Dカメラとロボットのポーズを推定する手法であるRoboPoseを紹介する。 これは、モバイルおよび反復型自律システムに他のロボットと対話する能力を与える上で、重要な問題である。
  論文  参考訳（メタデータ） (2021-04-19T14:48:29Z)
• Morphology-Agnostic Visual Robotic Control [76.44045983428701]
  MAVRICは、ロボットの形態に関する最小限の知識で機能するアプローチである。 本稿では,視覚誘導型3Dポイントリーチ,軌道追従,ロボットとロボットの模倣について紹介する。
  論文  参考訳（メタデータ） (2019-12-31T15:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。