論文の概要: 3D Shape Reconstruction from Vision and Touch

• arxiv url: http://arxiv.org/abs/2007.03778v2
• Date: Mon, 2 Nov 2020 19:57:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 20:27:24.782548
• Title: 3D Shape Reconstruction from Vision and Touch
• Title（参考訳）: 視覚・触覚による3次元形状復元
• Authors: Edward J. Smith, Roberto Calandra, Adriana Romero, Georgia Gkioxari, David Meger, Jitendra Malik, Michal Drozdzal
• Abstract要約: 3次元形状再構成では、視覚と触覚の相補的な融合はほとんど未解明のままである。 本稿では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを提案する。
• 参考スコア（独自算出の注目度）: 62.59044232597045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When a toddler is presented a new toy, their instinctual behaviour is to pick it upand inspect it with their hand and eyes in tandem, clearly searching over its surface to properly understand what they are playing with. At any instance here, touch provides high fidelity localized information while vision provides complementary global context. However, in 3D shape reconstruction, the complementary fusion of visual and haptic modalities remains largely unexplored. In this paper, we study this problem and present an effective chart-based approach to multi-modal shape understanding which encourages a similar fusion vision and touch information.To do so, we introduce a dataset of simulated touch and vision signals from the interaction between a robotic hand and a large array of 3D objects. Our results show that (1) leveraging both vision and touch signals consistently improves single-modality baselines; (2) our approach outperforms alternative modality fusion methods and strongly benefits from the proposed chart-based structure; (3) there construction quality increases with the number of grasps provided; and (4) the touch information not only enhances the reconstruction at the touch site but also extrapolates to its local neighborhood.
• Abstract（参考訳）: 幼児が新しいおもちゃを提示すると、その直感的な行動は、それを拾い上げて手と目で調べ、その表面をはっきりと探して、自分が何を遊んでいるかを正確に理解することである。 いずれにせよ、タッチは高忠実度ローカライズされた情報を提供する一方、ビジョンは補完的なグローバルコンテキストを提供する。 しかし, 3次元形状再構成では, 視覚と触覚の相補的な融合は未解明のままである。 そこで本研究では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを導入する。 その結果,(1)視覚信号とタッチ信号の両方を活用することで,単一モダリティベースラインの一貫性が向上し,(2)本手法は代替モダリティ融合法よりも優れ,提案するチャートベース構造からの利点が強く,(3)把持数の増加とともに建設品質が向上し,(4)タッチ情報はタッチサイトにおける再構築の強化だけでなく,その周辺への外挿も可能となった。

関連論文リスト

• FusionSense: Bridging Common Sense, Vision, and Touch for Robust Sparse-View Reconstruction [17.367277970910813]
  人間は、常識の知識を視覚や触覚からの感覚入力と密接に統合し、周囲を理解する。 FusionSenseは、ロボットが視覚や触覚センサーから高度に疎らな観察を行い、基礎モデルから事前情報を融合することのできる、新しい3D再構成フレームワークである。
  論文  参考訳（メタデータ） (2024-10-10T18:07:07Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces [34.831730064258494]
  本研究では,タッチデータ(局所深度マップ)を多視点視覚データと組み合わせ,表面再構成と新しいビュー合成を実現する新しいアプローチである触覚インフォームド3DGSを提案する。 タッチ位置の透過率を低下させる枠組みを作成することにより,表面の微細化を実現し,均一に滑らかな深度マップを実現する。 我々は、光沢と反射面を有する物体に対して評価を行い、我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-29T16:30:17Z)
• Unifying Correspondence, Pose and NeRF for Pose-Free Novel View Synthesis from Stereo Pairs [57.492124844326206]
  この研究は、3次元視覚における挑戦的で先駆的な課題であるステレオペアからのポーズレスノベルビュー合成の課題に踏み込んだ。 我々の革新的なフレームワークは、これまでとは違って、シームレスに2D対応マッチング、カメラポーズ推定、NeRFレンダリングを統合し、これらのタスクの相乗的強化を促進します。
  論文  参考訳（メタデータ） (2023-12-12T13:22:44Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution [49.10497573378427]
  インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。 我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。 広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
  論文  参考訳（メタデータ） (2022-04-27T17:00:54Z)
• Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
  人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。 3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。 1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
  論文  参考訳（メタデータ） (2021-07-20T15:56:52Z)
• Look, Evolve and Mold: Learning 3D Shape Manifold via Single-view Synthetic Data [32.54820023526409]
  LEMと呼ばれる単一視点3次元再構成のためのドメイン適応型ネットワークを提案し、自然シナリオに向けて一般化する。 いくつかのベンチマーク実験では,提案手法の有効性とロバスト性を示した。
  論文  参考訳（メタデータ） (2021-03-08T14:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。