論文の概要: Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces
- arxiv url: http://arxiv.org/abs/2403.20275v1
- Date: Fri, 29 Mar 2024 16:30:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 15:05:12.209996
- Title: Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces
- Title（参考訳）: Snap-it, Tap-it, Splat-it: 触覚インフォームド3Dガウススプレイティング
- Authors: Mauro Comi, Alessio Tonioni, Max Yang, Jonathan Tremblay, Valts Blukis, Yijiong Lin, Nathan F. Lepora, Laurence Aitchison,
- Abstract要約: 本研究では,タッチデータ(局所深度マップ)を多視点視覚データと組み合わせ,表面再構成と新しいビュー合成を実現する新しいアプローチである触覚インフォームド3DGSを提案する。
タッチ位置の透過率を低下させる枠組みを作成することにより,表面の微細化を実現し,均一に滑らかな深度マップを実現する。
我々は、光沢と反射面を有する物体に対して評価を行い、我々のアプローチの有効性を実証する。
- 参考スコア（独自算出の注目度）: 34.831730064258494
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Touch and vision go hand in hand, mutually enhancing our ability to understand the world. From a research perspective, the problem of mixing touch and vision is underexplored and presents interesting challenges. To this end, we propose Tactile-Informed 3DGS, a novel approach that incorporates touch data (local depth maps) with multi-view vision data to achieve surface reconstruction and novel view synthesis. Our method optimises 3D Gaussian primitives to accurately model the object's geometry at points of contact. By creating a framework that decreases the transmittance at touch locations, we achieve a refined surface reconstruction, ensuring a uniformly smooth depth map. Touch is particularly useful when considering non-Lambertian objects (e.g. shiny or reflective surfaces) since contemporary methods tend to fail to reconstruct with fidelity specular highlights. By combining vision and tactile sensing, we achieve more accurate geometry reconstructions with fewer images than prior methods. We conduct evaluation on objects with glossy and reflective surfaces and demonstrate the effectiveness of our approach, offering significant improvements in reconstruction quality.
- Abstract（参考訳）: 触覚と視覚は手をつないで、世界を理解する能力を相互に強化します。
研究の観点からは、タッチとビジョンの混在という問題が過小評価され、興味深い課題が提示されている。
そこで本研究では,触覚データ(局所深度マップ)を多視点視覚データと組み合わせ,表面再構成と新しいビュー合成を実現する新しいアプローチである,触覚インフォームド3DGSを提案する。
本手法は3次元ガウス原始体を最適化し,接触点における物体の形状を正確にモデル化する。
タッチ位置の透過率を低下させる枠組みを作成することにより,表面の微細化を実現し,均一に滑らかな深度マップを実現する。
タッチは非ランベルト的対象(例えば光沢や反射面)を考える際に特に有用である。
視覚と触覚センサを組み合わせることで,従来の手法よりも少ない画像でより正確な形状復元を行うことができる。
我々は光沢と反射面を有する物体に対して評価を行い,提案手法の有効性を実証し,再現性の向上を図っている。
関連論文リスト
- GlossyGS: Inverse Rendering of Glossy Objects with 3D Gaussian Splatting [21.23724172779984]
GlossyGSは、光沢のある物体の形状と素材を、素材の先行要素を統合することによって正確に再構築することを目的としている。
定量的解析と定性的可視化により, 提案手法は高忠実度ジオメトリーと光沢物体の材料を再構成するのに有効であることを示す。
論文 参考訳（メタデータ） (2024-10-17T09:00:29Z) - MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References [49.71130133080821]
MaRINeRは、近くのマッピング画像の情報を活用して、ターゲット視点のレンダリングを改善する方法である。
暗黙のシーン表現と暗黙のシーン表現の両方から、定量的な指標と定性的な例のレンダリングの改善を示す。
論文 参考訳（メタデータ） (2024-07-18T17:50:03Z) - Learning Explicit Contact for Implicit Reconstruction of Hand-held
Objects from Monocular Images [59.49985837246644]
我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。
まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。
第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-31T17:59:26Z) - Recovering Fine Details for Neural Implicit Surface Reconstruction [3.9702081347126943]
そこで我々はD-NeuSを提案する。D-NeuSは、微細な幾何学的詳細を復元できるボリュームレンダリング型ニューラル暗示表面再構成法である。
我々は,SDFゼロクロスの補間により表面点に多視点の特徴的整合性を付与する。
本手法は,高精度な表面を細部で再構成し,その性能を向上する。
論文 参考訳（メタデータ） (2022-11-21T10:06:09Z) - Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。
3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。
1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
論文 参考訳（メタデータ） (2021-07-20T15:56:52Z) - Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown
Generic Reflectance [86.05191217004415]
表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。
本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
論文 参考訳（メタデータ） (2021-05-25T01:28:54Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳（メタデータ） (2020-08-18T06:33:40Z) - 3D Shape Reconstruction from Vision and Touch [62.59044232597045]
3次元形状再構成では、視覚と触覚の相補的な融合はほとんど未解明のままである。
本稿では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを提案する。
論文 参考訳（メタデータ） (2020-07-07T20:20:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。