論文の概要: Active 3D Shape Reconstruction from Vision and Touch

• arxiv url: http://arxiv.org/abs/2107.09584v1
• Date: Tue, 20 Jul 2021 15:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 17:36:00.506041
• Title: Active 3D Shape Reconstruction from Vision and Touch
• Title（参考訳）: 視覚・触覚からのアクティブ3次元形状復元
• Authors: Edward J. Smith and David Meger and Luis Pineda and Roberto Calandra and Jitendra Malik and Adriana Romero and Michal Drozdzal
• Abstract要約: 人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。 3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。 1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
• 参考スコア（独自算出の注目度）: 66.08432412497443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans build 3D understandings of the world through active object exploration, using jointly their senses of vision and touch. However, in 3D shape reconstruction, most recent progress has relied on static datasets of limited sensory data such as RGB images, depth maps or haptic readings, leaving the active exploration of the shape largely unexplored. In active touch sensing for 3D reconstruction, the goal is to actively select the tactile readings that maximize the improvement in shape reconstruction accuracy. However, the development of deep learning-based active touch models is largely limited by the lack of frameworks for shape exploration. In this paper, we focus on this problem and introduce a system composed of: 1) a haptic simulator leveraging high spatial resolution vision-based tactile sensors for active touching of 3D objects; 2) a mesh-based 3D shape reconstruction model that relies on tactile or visuotactile signals; and 3) a set of data-driven solutions with either tactile or visuotactile priors to guide the shape exploration. Our framework enables the development of the first fully data-driven solutions to active touch on top of learned models for object understanding. Our experiments show the benefits of such solutions in the task of 3D shape understanding where our models consistently outperform natural baselines. We provide our framework as a tool to foster future research in this direction.
• Abstract（参考訳）: 人間は、視覚と触覚を融合して、活発な物体探索を通じて世界の3D理解を構築する。 しかし、3次元形状復元では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存しており、形状の活発な探索はほとんど探索されていない。 3次元再構成のためのアクティブタッチセンシングでは,形状復元精度の向上を最大化する触覚読み取りを積極的に選択することが目的である。 しかし、深層学習に基づくアクティブタッチモデルの開発は、形状探索のためのフレームワークの欠如により、ほとんど制限されている。 本稿では,(1)高空間分解能視覚に基づく触覚センサを用いた3次元物体の能動接触を利用した触覚シミュレータ,2)触覚信号や振動信号に依存するメッシュ型3次元形状再構成モデル,3)触覚と振動のどちらかの先行したデータ駆動型解の組による形状探索を行うシステムについて紹介する。 私たちのフレームワークは、オブジェクト理解のための学習モデルの上に、アクティブタッチのための最初の完全なデータ駆動ソリューションの開発を可能にします。 実験では, モデルが自然なベースラインを常に上回る3次元形状理解の課題において, このような解の利点を示す。 この方向への今後の研究を促進するためのツールとして,我々のフレームワークを提供する。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces [34.831730064258494]
  本研究では,タッチデータ(局所深度マップ)を多視点視覚データと組み合わせ,表面再構成と新しいビュー合成を実現する新しいアプローチである触覚インフォームド3DGSを提案する。 タッチ位置の透過率を低下させる枠組みを作成することにより,表面の微細化を実現し,均一に滑らかな深度マップを実現する。 我々は、光沢と反射面を有する物体に対して評価を行い、我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-29T16:30:17Z)
• TouchSDF: A DeepSDF Approach for 3D Shape Reconstruction using Vision-Based Tactile Sensing [29.691786688595762]
  人間は視覚と触覚に頼り、身体環境の総合的な3D理解を開発する。 触覚3次元形状再構成のための深層学習手法であるTouchSDFを提案する。 本手法は,(1)触覚画像をタッチ位置の局所メッシュにマッピングする畳み込みニューラルネットワーク,(2)署名された距離関数を予測して所望の3次元形状を抽出する暗黙的ニューラルネットワークの2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-11-21T13:43:06Z)
• TANDEM3D: Active Tactile Exploration for 3D Object Recognition [16.548376556543015]
  触覚信号を用いた3次元物体認識のための協調学習フレームワークであるTANDEM3Dを提案する。 TANDEM3Dは、PointNet++を使って接触位置と正規値から3Dオブジェクト表現を構築する新しいエンコーダに基づいている。 本手法はシミュレーションで完全に訓練され,実世界の実験で検証される。
  論文  参考訳（メタデータ） (2022-09-19T05:54:26Z)
• Uncertainty Guided Policy for Active Robotic 3D Reconstruction using Neural Radiance Fields [82.21033337949757]
  本稿では,物体の暗黙のニューラル表現の各光線に沿ったカラーサンプルの重量分布のエントロピーを計算した線量不確実性推定器を提案する。 提案した推定器を用いた新しい視点から, 基礎となる3次元形状の不確かさを推測することが可能であることを示す。 ニューラルラディアンス場に基づく表現における線量不確実性によって導かれる次ベクター選択ポリシーを提案する。
  論文  参考訳（メタデータ） (2022-09-17T21:28:57Z)
• AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
  ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。 我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T16:54:38Z)
• Voxel-based 3D Detection and Reconstruction of Multiple Objects from a Single Image [22.037472446683765]
  入力画像から3次元特徴持ち上げ演算子を用いて3次元シーン空間に整合した3次元ボクセル特徴の正規格子を学習する。 この3Dボクセルの特徴に基づき,新しいCenterNet-3D検出ヘッドは3D空間におけるキーポイント検出として3D検出を定式化する。 我々は、粗度ボキセル化や、新しい局所PCA-SDF形状表現を含む、効率的な粗度から細度の再構成モジュールを考案する。
  論文  参考訳（メタデータ） (2021-11-04T18:30:37Z)
• Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection [70.71934539556916]
  射影モデルを用いて幾何学誘導深度推定を学習し, モノクル3次元物体検出を推し進める。 具体的には,モノクロ3次元物体検出ネットワークにおける2次元および3次元深度予測の投影モデルを用いた原理的幾何式を考案した。 本手法は, 適度なテスト設定において, 余分なデータを2.80%も加えることなく, 最先端単分子法の検出性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-07-29T12:30:39Z)
• 3D Shape Reconstruction from Vision and Touch [62.59044232597045]
  3次元形状再構成では、視覚と触覚の相補的な融合はほとんど未解明のままである。 本稿では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを提案する。
  論文  参考訳（メタデータ） (2020-07-07T20:20:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。