論文の概要: Touch2Shape: Touch-Conditioned 3D Diffusion for Shape Exploration and Reconstruction

• arxiv url: http://arxiv.org/abs/2505.13091v1
• Date: Mon, 19 May 2025 13:24:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.611768
• Title: Touch2Shape: Touch-Conditioned 3D Diffusion for Shape Exploration and Reconstruction
• Title（参考訳）: Touch2Shape:形状探索と再構築のための3Dディフュージョン
• Authors: Yuanbo Wang, Zhaoxuan Zhang, Jiajin Qiu, Dilong Sun, Zhengyu Meng, Xiaopeng Wei, Xin Yang,
• Abstract要約: 現在の3次元拡散モデルは、画像や部分的な観察からターゲット形状を再構築することに焦点を当てている。 タッチ条件付き拡散モデルを用いてタッチから対象形状を探索・再構成するTouch2Shapeモデルを提案する。 形状再構成のために,コンパクトな表現を生成する上で,拡散モデルを条件付けるタッチ埋め込みモジュールを開発した。 形状探索では,拡散モデルと強化学習を組み合わせて政策の訓練を行う。
• 参考スコア（独自算出の注目度）: 7.815446497747986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have made breakthroughs in 3D generation tasks. Current 3D diffusion models focus on reconstructing target shape from images or a set of partial observations. While excelling in global context understanding, they struggle to capture the local details of complex shapes and limited to the occlusion and lighting conditions. To overcome these limitations, we utilize tactile images to capture the local 3D information and propose a Touch2Shape model, which leverages a touch-conditioned diffusion model to explore and reconstruct the target shape from touch. For shape reconstruction, we have developed a touch embedding module to condition the diffusion model in creating a compact representation and a touch shape fusion module to refine the reconstructed shape. For shape exploration, we combine the diffusion model with reinforcement learning to train a policy. This involves using the generated latent vector from the diffusion model to guide the touch exploration policy training through a novel reward design. Experiments validate the reconstruction quality thorough both qualitatively and quantitative analysis, and our touch exploration policy further boosts reconstruction performance.
• Abstract（参考訳）: 拡散モデルは3D生成タスクにブレークスルーをもたらした。 現在の3次元拡散モデルは、画像や部分的な観察からターゲット形状を再構築することに焦点を当てている。 グローバルな文脈理解に優れておりながら、複雑な形状の局所的な詳細を捉えるのに苦労し、閉塞状態や照明条件に制限される。 これらの制約を克服するために,触覚画像を用いて局所的な3D情報をキャプチャし,タッチ条件の拡散モデルを用いてタッチからターゲット形状を探索・再構成するTouch2Shapeモデルを提案する。 形状再構成のために,コンパクトな表現を生成するために拡散モデルを条件づけるタッチ埋め込みモジュールと,再構成された形状を洗練するためのタッチ形状融合モジュールを開発した。 形状探索では,拡散モデルと強化学習を組み合わせて政策の訓練を行う。 これは、拡散モデルから生成された潜在ベクトルを使用して、新しい報酬設計を通じてタッチ探索ポリシートレーニングをガイドする。 定性的かつ定量的な分析を徹底的に実施し, 再現性の向上を図った。

関連論文リスト

• HORT: Monocular Hand-held Objects Reconstruction with Transformers [61.36376511119355]
  モノクロ画像から手持ちの物体を3Dで再構成することは、コンピュータビジョンにおいて重要な課題である。 ハンドヘルドオブジェクトの高密度な3次元点群を効率的に再構成するトランスフォーマーモデルを提案する。 提案手法は,高速な推測速度で最先端の精度を達成し,画像の幅を最適化する。
  論文  参考訳（メタデータ） (2025-03-27T09:45:09Z)
• Hyperbolic-constraint Point Cloud Reconstruction from Single RGB-D Images [19.23499128175523]
  我々は3次元点雲再構成に双曲空間を導入し、低歪みの点雲における複雑な階層構造を表現・理解できるようにする。 我々のモデルは既存のモデルよりも優れており、アブレーション研究は我々のモデルとその構成要素の重要性を実証している。
  論文  参考訳（メタデータ） (2024-12-12T08:27:39Z)
• Deformable 3D Shape Diffusion Model [21.42513407755273]
  包括的3次元形状操作を容易にする新しい変形可能な3次元形状拡散モデルを提案する。 点雲生成における最先端性能とメッシュ変形の競争結果を示す。 本手法は,バーチャルリアリティの領域において,3次元形状操作の進展と新たな機会の解放のためのユニークな経路を提供する。
  論文  参考訳（メタデータ） (2024-07-31T08:24:42Z)
• SC-Diff: 3D Shape Completion with Latent Diffusion Models [4.913210912019975]
  本稿では, 形状の完成に最適化された3次元潜在拡散モデルを用いて, 3次元形状完備化手法を提案する。 本手法は,空間的コンディショニングとクロスアテンションによる画像ベースコンディショニングを,キャプチャー部分スキャンからの3次元特徴の統合により組み合わせたものである。
  論文  参考訳（メタデータ） (2024-03-19T06:01:11Z)
• NeuSD: Surface Completion with Multi-View Text-to-Image Diffusion [56.98287481620215]
  本稿では,対象物の一部のみを捉えた複数の画像から3次元表面再構成を行う手法を提案する。 提案手法は, 表面の可視部分の再構成に神経放射場を用いた表面再構成法と, SDS (Score Distillation Sampling) 方式で事前学習した2次元拡散モデルを用いて, 可観測領域の形状を再現する手法である。
  論文  参考訳（メタデータ） (2023-12-07T19:30:55Z)
• Surf-D: Generating High-Quality Surfaces of Arbitrary Topologies Using Diffusion Models [83.35835521670955]
  Surf-Dは任意の位相を持つ表面として高品質な3次元形状を生成する新しい方法である。 非符号距離場(UDF)を曲面表現として用いて任意の位相を許容する。 また、ポイントベースのAutoEncoderを用いて、UDFを正確に符号化するためのコンパクトで連続的な潜在空間を学習する新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-11-28T18:56:01Z)
• SADIR: Shape-Aware Diffusion Models for 3D Image Reconstruction [2.2954246824369218]
  限られた2次元画像からの3次元画像再構成は、コンピュータビジョンと画像解析における長年にわたる課題である。 本研究では,これらの問題に対処する3次元画像再構成のための拡散モデルに基づく形状認識ネットワークSADIRを提案する。
  論文  参考訳（メタデータ） (2023-09-06T19:30:22Z)
• Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying Objects [52.46838926521572]
  3D認識生成モデルは、モノクロ2D画像の集合から3Dニューラル放射場(NeRF)を生成するスーパーブパフォーマンスを実証した。 本研究では, トポロジー変化物体の放射場を非交絡形状と外観変化で合成する生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-09-09T08:44:06Z)
• SP-GAN: Sphere-Guided 3D Shape Generation and Manipulation [50.53931728235875]
  点雲の形で3次元形状を直接合成するための新しい教師なし球誘導生成モデルSP-GANを提案する。 既存のモデルと比較して、SP-GANは多種多様な高品質な形状を詳細に合成することができる。
  論文  参考訳（メタデータ） (2021-08-10T06:49:45Z)
• Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
  人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。 3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。 1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
  論文  参考訳（メタデータ） (2021-07-20T15:56:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。