論文の概要: 3D Shape Reconstruction from Vision and Touch
- arxiv url: http://arxiv.org/abs/2007.03778v2
- Date: Mon, 2 Nov 2020 19:57:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 20:27:24.782548
- Title: 3D Shape Reconstruction from Vision and Touch
- Title(参考訳): 視覚・触覚による3次元形状復元
- Authors: Edward J. Smith, Roberto Calandra, Adriana Romero, Georgia Gkioxari,
David Meger, Jitendra Malik, Michal Drozdzal
- Abstract要約: 3次元形状再構成では、視覚と触覚の相補的な融合はほとんど未解明のままである。
本稿では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを提案する。
- 参考スコア(独自算出の注目度): 62.59044232597045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When a toddler is presented a new toy, their instinctual behaviour is to pick
it upand inspect it with their hand and eyes in tandem, clearly searching over
its surface to properly understand what they are playing with. At any instance
here, touch provides high fidelity localized information while vision provides
complementary global context. However, in 3D shape reconstruction, the
complementary fusion of visual and haptic modalities remains largely
unexplored. In this paper, we study this problem and present an effective
chart-based approach to multi-modal shape understanding which encourages a
similar fusion vision and touch information.To do so, we introduce a dataset of
simulated touch and vision signals from the interaction between a robotic hand
and a large array of 3D objects. Our results show that (1) leveraging both
vision and touch signals consistently improves single-modality baselines; (2)
our approach outperforms alternative modality fusion methods and strongly
benefits from the proposed chart-based structure; (3) there construction
quality increases with the number of grasps provided; and (4) the touch
information not only enhances the reconstruction at the touch site but also
extrapolates to its local neighborhood.
- Abstract(参考訳): 幼児が新しいおもちゃを提示すると、その直感的な行動は、それを拾い上げて手と目で調べ、その表面をはっきりと探して、自分が何を遊んでいるかを正確に理解することである。
いずれにせよ、タッチは高忠実度ローカライズされた情報を提供する一方、ビジョンは補完的なグローバルコンテキストを提供する。
しかし, 3次元形状再構成では, 視覚と触覚の相補的な融合は未解明のままである。
そこで本研究では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを導入する。
その結果,(1)視覚信号とタッチ信号の両方を活用することで,単一モダリティベースラインの一貫性が向上し,(2)本手法は代替モダリティ融合法よりも優れ,提案するチャートベース構造からの利点が強く,(3)把持数の増加とともに建設品質が向上し,(4)タッチ情報はタッチサイトにおける再構築の強化だけでなく,その周辺への外挿も可能となった。
関連論文リスト
- Unifying Correspondence, Pose and NeRF for Pose-Free Novel View
Synthesis from Stereo Pairs [60.91956508636362]
この研究は、3次元視覚における挑戦的で先駆的な課題であるステレオペアからのポーズレスノベルビュー合成の課題に踏み込んだ。
我々の革新的なフレームワークは、これまでとは違って、シームレスに2D対応マッチング、カメラポーズ推定、NeRFレンダリングを統合し、これらのタスクの相乗的強化を促進します。
論文 参考訳(メタデータ) (2023-12-12T13:22:44Z) - TouchSDF: A DeepSDF Approach for 3D Shape Reconstruction using
Vision-Based Tactile Sensing [29.691786688595762]
人間は視覚と触覚に頼り、身体環境の総合的な3D理解を開発する。
触覚3次元形状再構成のための深層学習手法であるTouchSDFを提案する。
本手法は,(1)触覚画像をタッチ位置の局所メッシュにマッピングする畳み込みニューラルネットワーク,(2)署名された距離関数を予測して所望の3次元形状を抽出する暗黙的ニューラルネットワークの2つのコンポーネントから構成される。
論文 参考訳(メタデータ) (2023-11-21T13:43:06Z) - Learning Explicit Contact for Implicit Reconstruction of Hand-held
Objects from Monocular Images [59.49985837246644]
我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。
まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。
第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-05-31T17:59:26Z) - Collaborative Learning for Hand and Object Reconstruction with
Attention-guided Graph Convolution [49.10497573378427]
インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。
我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。
広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
論文 参考訳(メタデータ) (2022-04-27T17:00:54Z) - Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。
3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。
1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
論文 参考訳(メタデータ) (2021-07-20T15:56:52Z) - Look, Evolve and Mold: Learning 3D Shape Manifold via Single-view
Synthetic Data [32.54820023526409]
LEMと呼ばれる単一視点3次元再構成のためのドメイン適応型ネットワークを提案し、自然シナリオに向けて一般化する。
いくつかのベンチマーク実験では,提案手法の有効性とロバスト性を示した。
論文 参考訳(メタデータ) (2021-03-08T14:30:18Z) - Learning 3D Human Shape and Pose from Dense Body Parts [117.46290013548533]
本研究では,3次元の人体形状を学習し,身体部分の密接な対応からポーズをとるために,分解・集約ネットワーク(DaNet)を提案する。
ローカルストリームからのメッセージは集約され、回転ベースのポーズの堅牢な予測が強化される。
提案手法は,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証される。
論文 参考訳(メタデータ) (2019-12-31T15:09:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。