論文の概要: See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2212.03858v2
- Date: Thu, 8 Dec 2022 05:52:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 14:11:53.628317
- Title: See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation
- Title(参考訳): ロボットマニピュレーションのためのスマート・センサ・フュージョン
- Authors: Hao Li, Yizhi Zhang, Junzhe Zhu, Shaoxiong Wang, Michelle A Lee,
Huazhe Xu, Edward Adelson, Li Fei-Fei, Ruohan Gao, Jiajun Wu
- Abstract要約: 視覚的、聴覚的、触覚的知覚が、ロボットが複雑な操作タスクを解くのにどのように役立つかを研究する。
私たちは、カメラで見たり、コンタクトマイクで聞いたり、視覚ベースの触覚センサーで感じるロボットシステムを構築しました。
- 参考スコア(独自算出の注目度): 49.925499720323806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans use all of their senses to accomplish different tasks in everyday
activities. In contrast, existing work on robotic manipulation mostly relies on
one, or occasionally two modalities, such as vision and touch. In this work, we
systematically study how visual, auditory, and tactile perception can jointly
help robots to solve complex manipulation tasks. We build a robot system that
can see with a camera, hear with a contact microphone, and feel with a
vision-based tactile sensor, with all three sensory modalities fused with a
self-attention model. Results on two challenging tasks, dense packing and
pouring, demonstrate the necessity and power of multisensory perception for
robotic manipulation: vision displays the global status of the robot but can
often suffer from occlusion, audio provides immediate feedback of key moments
that are even invisible, and touch offers precise local geometry for decision
making. Leveraging all three modalities, our robotic system significantly
outperforms prior methods.
- Abstract(参考訳): 人間は日常的な活動において様々な仕事をこなすために全ての感覚を使用する。
対照的に、ロボット操作に関する既存の研究は、主に視覚や触覚などの2つのモードに依存している。
本研究では,視覚,聴覚,触覚の知覚がロボットの複雑な操作課題を協調的に解くのにどのように役立つのかを体系的に研究する。
カメラで観察し、コンタクトマイクで聴き、視覚ベースの触覚センサーで感じられるロボットシステムを構築し、これら3つの感覚モダリティを自己接触モデルと融合させた。
ロボット操作のためのマルチセンサー知覚の必要性とパワーを示す: ビジョンはロボットのグローバルな状態を表示するが、しばしば閉塞に苦しむことがあり、オーディオは目に見えない重要な瞬間の即時のフィードバックを提供し、タッチは意思決定のための正確な局所幾何学を提供する。
ロボットシステムは3つのモダリティをすべて活用し、従来の方法を大幅に上回っています。
関連論文リスト
- Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。
このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。
本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
論文 参考訳(メタデータ) (2024-07-01T17:55:35Z) - DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity [12.508332341279177]
触覚を用いて物体を探索・操作する多指ロボットシステムを提案する。
これを実現するために、ロボットハンドの片側に二元触覚センサを実装し、Sim2Realギャップを最小限に抑える。
視覚情報のない環境においても,触覚センサを用いた物体探索と操作が可能であることを示す。
論文 参考訳(メタデータ) (2024-01-23T05:37:32Z) - Robo360: A 3D Omnispective Multi-Material Robotic Manipulation Dataset [26.845899347446807]
近年の3Dアルゴリズムの活用への関心は、ロボットの知覚と身体的理解の進歩につながっている。
我々は、ロボット操作と密集したビューカバレッジを備えたデータセットであるRobo360を提示する。
3Dとロボット制御における物理世界理解の交差点では、Robo360が新たな研究の道を開くことを願っている。
論文 参考訳(メタデータ) (2023-12-09T09:12:03Z) - Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [16.570647733532173]
視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。
ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
論文 参考訳(メタデータ) (2023-12-04T12:35:43Z) - Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。
我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。
我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
論文 参考訳(メタデータ) (2023-10-04T17:59:38Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳(メタデータ) (2023-03-10T16:27:37Z) - Cognitive architecture aided by working-memory for self-supervised
multi-modal humans recognition [54.749127627191655]
人間パートナーを認識する能力は、パーソナライズされた長期的な人間とロボットの相互作用を構築するための重要な社会的スキルです。
ディープラーニングネットワークは最先端の結果を達成し,そのような課題に対処するための適切なツールであることが実証された。
1つの解決策は、ロボットに自己スーパービジョンで直接の感覚データから学習させることである。
論文 参考訳(メタデータ) (2021-03-16T13:50:24Z) - OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。
我々は,多方向高解像度触覚センサOmniTactを紹介する。
我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
論文 参考訳(メタデータ) (2020-03-16T01:31:29Z) - Morphology-Agnostic Visual Robotic Control [76.44045983428701]
MAVRICは、ロボットの形態に関する最小限の知識で機能するアプローチである。
本稿では,視覚誘導型3Dポイントリーチ,軌道追従,ロボットとロボットの模倣について紹介する。
論文 参考訳(メタデータ) (2019-12-31T15:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。