論文の概要: Tactile DreamFusion: Exploiting Tactile Sensing for 3D Generation

• arxiv url: http://arxiv.org/abs/2412.06785v1
• Date: Mon, 09 Dec 2024 18:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:53:09.512335
• Title: Tactile DreamFusion: Exploiting Tactile Sensing for 3D Generation
• Title（参考訳）: タクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタ
• Authors: Ruihan Gao, Kangle Deng, Gengshan Yang, Wenzhen Yuan, Jun-Yan Zhu,
• Abstract要約: 本稿では,タッチを付加的なモダリティとして組み込むことにより,生成した3次元資産の幾何学的詳細性を向上する手法を提案する。 2次元拡散モデルにより導かれる視覚的および触覚的テクスチャを合成する軽量な3次元テクスチャ場を設計する。 我々は,3次元生成タスクの幾何学的詳細性を高めるために,高分解能触覚を初めて活用する。
• 参考スコア（独自算出の注目度）: 39.702921832009466
• License:
• Abstract: 3D generation methods have shown visually compelling results powered by diffusion image priors. However, they often fail to produce realistic geometric details, resulting in overly smooth surfaces or geometric details inaccurately baked in albedo maps. To address this, we introduce a new method that incorporates touch as an additional modality to improve the geometric details of generated 3D assets. We design a lightweight 3D texture field to synthesize visual and tactile textures, guided by 2D diffusion model priors on both visual and tactile domains. We condition the visual texture generation on high-resolution tactile normals and guide the patch-based tactile texture refinement with a customized TextureDreambooth. We further present a multi-part generation pipeline that enables us to synthesize different textures across various regions. To our knowledge, we are the first to leverage high-resolution tactile sensing to enhance geometric details for 3D generation tasks. We evaluate our method in both text-to-3D and image-to-3D settings. Our experiments demonstrate that our method provides customized and realistic fine geometric textures while maintaining accurate alignment between two modalities of vision and touch.
• Abstract（参考訳）: 拡散画像を用いた3次元画像生成法では,視覚的に説得力のある結果が得られた。 しかし、それらはしばしば現実的な幾何学的詳細を作り出すことができず、その結果、過度に滑らかな表面や幾何学的詳細がアルベドの地図に不正確に刻まれている。 そこで本研究では,タッチを付加モダリティとして組み込むことにより,生成した3次元資産の幾何学的詳細性を向上する手法を提案する。 視覚的および触覚的テクスチャを合成する軽量な3次元テクスチャ場を設計し、視覚領域と触覚領域の両方で2次元拡散モデルにより導かれる。 我々は高解像度の触覚正常者に対して視覚的テクスチャ生成を条件とし、カスタマイズしたTextureDreamboothを用いてパッチベースの触覚テクスチャ改善を導出する。 さらに、様々な領域にまたがる異なるテクスチャを合成できるマルチパート生成パイプラインを提案する。 我々の知る限り、私たちは3D生成タスクの幾何学的詳細を強化するために、初めて高解像度の触覚センサーを活用しました。 我々は,テキスト・ツー・3Dと画像・ツー・3D設定で評価を行った。 提案手法は,視覚と触覚の2つのモードの正確なアライメントを維持しつつ,カスタマイズされた,リアルな微視的テクスチャを提供する。

関連論文リスト

• DreamPolish: Domain Score Distillation With Progressive Geometry Generation [66.94803919328815]
  本稿では,高精細な幾何学と高品質なテクスチャの創出に優れたテキスト・ツー・3D生成モデルであるDreamPolishを紹介する。 幾何構成フェーズでは, 合成過程の安定性を高めるために, 複数のニューラル表現を利用する。 テクスチャ生成フェーズでは、そのような領域に向けて神経表現を導くために、新しいスコア蒸留、すなわちドメインスコア蒸留(DSD)を導入する。
  論文  参考訳（メタデータ） (2024-11-03T15:15:01Z)
• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• ShaDDR: Interactive Example-Based Geometry and Texture Generation via 3D Shape Detailization and Differentiable Rendering [24.622120688131616]
  ShaDDRは、高分解能なテクスチャ化された3D形状を生成するサンプルベースのディープ生成ニューラルネットワークである。 本手法は,マルチレゾリューションボクセルアップサンプリングによる幾何学の精密化と,ボクセル表面のテクスチャの生成を学習する。 生成された形状は、入力された粗いボクセルモデルの全体構造を保存する。
  論文  参考訳（メタデータ） (2023-06-08T02:35:30Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)
• Texturify: Generating Textures on 3D Shape Surfaces [34.726179801982646]
  本研究では3次元入力のテクスチャを予測する3次元形状を学習するためにTexturifyを提案する。 本手法では,3Dオブジェクトの学習に3Dカラー管理は不要である。
  論文  参考訳（メタデータ） (2022-04-05T18:00:04Z)
• Fine Detailed Texture Learning for 3D Meshes with Generative Models [33.42114674602613]
  本稿では,多視点画像と単視点画像の両方から高品質なテクスチャ3Dモデルを再構成する手法を提案する。 第1段階では正確な幾何学を学ぶことに集中し、第2段階では、生成的対向ネットワークを用いてテクスチャを学ぶことに集中する。 本手法は従来の手法に比べて優れた3次元テクスチャモデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-03-17T14:50:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。