論文の概要: TouchSDF: A DeepSDF Approach for 3D Shape Reconstruction using
Vision-Based Tactile Sensing
- arxiv url: http://arxiv.org/abs/2311.12602v1
- Date: Tue, 21 Nov 2023 13:43:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 00:26:26.104059
- Title: TouchSDF: A DeepSDF Approach for 3D Shape Reconstruction using
Vision-Based Tactile Sensing
- Title(参考訳): TouchSDF:視覚に基づく触覚センシングを用いた3次元形状再構成のためのDeepSDFアプローチ
- Authors: Mauro Comi, Yijiong Lin, Alex Church, Alessio Tonioni, Laurence
Aitchison, Nathan F. Lepora
- Abstract要約: 人間は視覚と触覚に頼り、身体環境の総合的な3D理解を開発する。
触覚3次元形状再構成のための深層学習手法であるTouchSDFを提案する。
本手法は,(1)触覚画像をタッチ位置の局所メッシュにマッピングする畳み込みニューラルネットワーク,(2)署名された距離関数を予測して所望の3次元形状を抽出する暗黙的ニューラルネットワークの2つのコンポーネントから構成される。
- 参考スコア(独自算出の注目度): 29.691786688595762
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans rely on their visual and tactile senses to develop a comprehensive 3D
understanding of their physical environment. Recently, there has been a growing
interest in exploring and manipulating objects using data-driven approaches
that utilise high-resolution vision-based tactile sensors. However, 3D shape
reconstruction using tactile sensing has lagged behind visual shape
reconstruction because of limitations in existing techniques, including the
inability to generalise over unseen shapes, the absence of real-world testing,
and limited expressive capacity imposed by discrete representations. To address
these challenges, we propose TouchSDF, a Deep Learning approach for tactile 3D
shape reconstruction that leverages the rich information provided by a
vision-based tactile sensor and the expressivity of the implicit neural
representation DeepSDF. Our technique consists of two components: (1) a
Convolutional Neural Network that maps tactile images into local meshes
representing the surface at the touch location, and (2) an implicit neural
function that predicts a signed distance function to extract the desired 3D
shape. This combination allows TouchSDF to reconstruct smooth and continuous 3D
shapes from tactile inputs in simulation and real-world settings, opening up
research avenues for robust 3D-aware representations and improved multimodal
perception in robotics. Code and supplementary material are available at:
https://touchsdf.github.io/
- Abstract(参考訳): 人間は視覚と触覚に頼り、身体環境の総合的な3D理解を開発する。
近年,高解像度視覚ベースの触覚センサを活用したデータ駆動型アプローチによる物体の探索・操作への関心が高まっている。
しかし,触覚センシングを用いた3次元形状復元は,非知覚形状を一般化できないこと,実世界テストが存在しないこと,離散表現による表現能力の制限など,既存の技術の限界から,視覚形状再構成に遅れを取っている。
そこで本研究では,視覚型触覚センサの豊富な情報と暗黙的神経表現であるdeepsdfの表現性を活用する,触覚3次元形状再構成のための深層学習手法であるtouchsdfを提案する。
本手法は,(1)触覚画像をタッチ位置の局所メッシュにマッピングする畳み込みニューラルネットワーク,(2)署名された距離関数を予測して所望の3次元形状を抽出する暗黙的ニューラルネットワークの2つのコンポーネントから構成される。
この組み合わせにより、TouchSDFは触覚入力と実世界設定から滑らかで連続的な3D形状を再構築し、堅牢な3D認識表現のための研究の道を開き、ロボット工学におけるマルチモーダル認識を改善した。
コードと補足資料は、https://touchsdf.github.io/で入手できる。
関連論文リスト
- MinD-3D: Reconstruct High-quality 3D objects in Human Brain [53.546633606914455]
Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3D視覚を再構築することに焦点を当てた画期的なタスクである。
総合的なfMRI信号キャプチャのための3Dオブジェクトの360度映像を利用したfMRI-Shapeデータセットを提案する。
また,fMRI信号から脳の3次元視覚情報をデコードし,再構成する新しい3段階フレームワークMinD-3Dを提案する。
論文 参考訳(メタデータ) (2023-12-12T18:21:36Z) - Neural Poisson: Indicator Functions for Neural Fields [25.41908065938424]
3次元形状の符号付き距離場表現(SDF)は顕著な進展を示した。
本稿では,3次元シーンのニューラルフィールド表現のための新しいパラダイムを提案する。
提案手法は, 合成3次元シーンデータと実写3次元シーンデータの両方に対して, 最先端の再構築性能を示す。
論文 参考訳(メタデータ) (2022-11-25T17:28:22Z) - TANDEM3D: Active Tactile Exploration for 3D Object Recognition [16.548376556543015]
触覚信号を用いた3次元物体認識のための協調学習フレームワークであるTANDEM3Dを提案する。
TANDEM3Dは、PointNet++を使って接触位置と正規値から3Dオブジェクト表現を構築する新しいエンコーダに基づいている。
本手法はシミュレーションで完全に訓練され,実世界の実験で検証される。
論文 参考訳(メタデータ) (2022-09-19T05:54:26Z) - Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from
Depth Maps [66.24554680709417]
協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。
本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
論文 参考訳(メタデータ) (2022-07-06T08:52:12Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - Voxel-based 3D Detection and Reconstruction of Multiple Objects from a
Single Image [22.037472446683765]
入力画像から3次元特徴持ち上げ演算子を用いて3次元シーン空間に整合した3次元ボクセル特徴の正規格子を学習する。
この3Dボクセルの特徴に基づき,新しいCenterNet-3D検出ヘッドは3D空間におけるキーポイント検出として3D検出を定式化する。
我々は、粗度ボキセル化や、新しい局所PCA-SDF形状表現を含む、効率的な粗度から細度の再構成モジュールを考案する。
論文 参考訳(メタデータ) (2021-11-04T18:30:37Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-11T03:49:59Z) - Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。
3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。
1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
論文 参考訳(メタデータ) (2021-07-20T15:56:52Z) - SDF-SRN: Learning Signed Distance 3D Object Reconstruction from Static
Images [44.78174845839193]
近年の取り組みは、注釈付き2DシルエットによるRGB画像から3Dの監督なしに3Dの再構築を学ぶことに変わった。
これらのテクニックは、トレーニング中に同じオブジェクトインスタンスのマルチビューアノテーションを必要とする。
本研究では,SDF-SRNを提案する。
論文 参考訳(メタデータ) (2020-10-20T17:59:47Z) - 3D Shape Reconstruction from Vision and Touch [62.59044232597045]
3次元形状再構成では、視覚と触覚の相補的な融合はほとんど未解明のままである。
本稿では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを提案する。
論文 参考訳(メタデータ) (2020-07-07T20:20:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。