論文の概要: See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2212.03858v2
• Date: Thu, 8 Dec 2022 05:52:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 14:11:53.628317
• Title: See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation
• Title（参考訳）: ロボットマニピュレーションのためのスマート・センサ・フュージョン
• Authors: Hao Li, Yizhi Zhang, Junzhe Zhu, Shaoxiong Wang, Michelle A Lee, Huazhe Xu, Edward Adelson, Li Fei-Fei, Ruohan Gao, Jiajun Wu
• Abstract要約: 視覚的、聴覚的、触覚的知覚が、ロボットが複雑な操作タスクを解くのにどのように役立つかを研究する。 私たちは、カメラで見たり、コンタクトマイクで聞いたり、視覚ベースの触覚センサーで感じるロボットシステムを構築しました。
• 参考スコア（独自算出の注目度）: 49.925499720323806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans use all of their senses to accomplish different tasks in everyday activities. In contrast, existing work on robotic manipulation mostly relies on one, or occasionally two modalities, such as vision and touch. In this work, we systematically study how visual, auditory, and tactile perception can jointly help robots to solve complex manipulation tasks. We build a robot system that can see with a camera, hear with a contact microphone, and feel with a vision-based tactile sensor, with all three sensory modalities fused with a self-attention model. Results on two challenging tasks, dense packing and pouring, demonstrate the necessity and power of multisensory perception for robotic manipulation: vision displays the global status of the robot but can often suffer from occlusion, audio provides immediate feedback of key moments that are even invisible, and touch offers precise local geometry for decision making. Leveraging all three modalities, our robotic system significantly outperforms prior methods.
• Abstract（参考訳）: 人間は日常的な活動において様々な仕事をこなすために全ての感覚を使用する。 対照的に、ロボット操作に関する既存の研究は、主に視覚や触覚などの2つのモードに依存している。 本研究では,視覚,聴覚,触覚の知覚がロボットの複雑な操作課題を協調的に解くのにどのように役立つのかを体系的に研究する。 カメラで観察し、コンタクトマイクで聴き、視覚ベースの触覚センサーで感じられるロボットシステムを構築し、これら3つの感覚モダリティを自己接触モデルと融合させた。 ロボット操作のためのマルチセンサー知覚の必要性とパワーを示す: ビジョンはロボットのグローバルな状態を表示するが、しばしば閉塞に苦しむことがあり、オーディオは目に見えない重要な瞬間の即時のフィードバックを提供し、タッチは意思決定のための正確な局所幾何学を提供する。 ロボットシステムは3つのモダリティをすべて活用し、従来の方法を大幅に上回っています。

関連論文リスト

• Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
  人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。 ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。 これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
  論文  参考訳（メタデータ） (2024-11-04T18:38:50Z)
• Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
  Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。 このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。 本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
  論文  参考訳（メタデータ） (2024-07-01T17:55:35Z)
• DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity [11.450027373581019]
  視覚に頼らずに触覚で物体を操作できる多指ロボットシステムを提案する。 日常の生活を模倣するタスクのために、ロボットは触覚を使ってランダムに配置された物体を暗く操作する。
  論文  参考訳（メタデータ） (2024-01-23T05:37:32Z)
• Robo360: A 3D Omnispective Multi-Material Robotic Manipulation Dataset [26.845899347446807]
  近年の3Dアルゴリズムの活用への関心は、ロボットの知覚と身体的理解の進歩につながっている。 我々は、ロボット操作と密集したビューカバレッジを備えたデータセットであるRobo360を提示する。 3Dとロボット制御における物理世界理解の交差点では、Robo360が新たな研究の道を開くことを願っている。
  論文  参考訳（メタデータ） (2023-12-09T09:12:03Z)
• Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [15.970078821894758]
  視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。 ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
  論文  参考訳（メタデータ） (2023-12-04T12:35:43Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Cognitive architecture aided by working-memory for self-supervised multi-modal humans recognition [54.749127627191655]
  人間パートナーを認識する能力は、パーソナライズされた長期的な人間とロボットの相互作用を構築するための重要な社会的スキルです。 ディープラーニングネットワークは最先端の結果を達成し,そのような課題に対処するための適切なツールであることが実証された。 1つの解決策は、ロボットに自己スーパービジョンで直接の感覚データから学習させることである。
  論文  参考訳（メタデータ） (2021-03-16T13:50:24Z)
• OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
  既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。 我々は,多方向高解像度触覚センサOmniTactを紹介する。 我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
  論文  参考訳（メタデータ） (2020-03-16T01:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。