論文の概要: FruitNinja: 3D Object Interior Texture Generation with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2411.12089v1
• Date: Mon, 18 Nov 2024 22:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:35:30.781395
• Title: FruitNinja: 3D Object Interior Texture Generation with Gaussian Splatting
• Title（参考訳）: FruitNinja:ガウススプラッティングによる3次元オブジェクト内部テクスチャ生成
• Authors: Fangyu Wu, Yuhao Chen,
• Abstract要約: 現実世界では、オブジェクトはスライスやカット時に内部のテクスチャを明らかにするが、この振る舞いは3D生成タスクでは十分に研究されていない。 幾何学的・位相的変化を考慮した3次元物体の内部テクスチャ生成法FruitNinjaを紹介する。
• 参考スコア（独自算出の注目度）: 7.203870576915979
• License:
• Abstract: In the real world, objects reveal internal textures when sliced or cut, yet this behavior is not well-studied in 3D generation tasks today. For example, slicing a virtual 3D watermelon should reveal flesh and seeds. Given that no available dataset captures an object's full internal structure and collecting data from all slices is impractical, generative methods become the obvious approach. However, current 3D generation and inpainting methods often focus on visible appearance and overlook internal textures. To bridge this gap, we introduce FruitNinja, the first method to generate internal textures for 3D objects undergoing geometric and topological changes. Our approach produces objects via 3D Gaussian Splatting (3DGS) with both surface and interior textures synthesized, enabling real-time slicing and rendering without additional optimization. FruitNinja leverages a pre-trained diffusion model to progressively inpaint cross-sectional views and applies voxel-grid-based smoothing to achieve cohesive textures throughout the object. Our OpaqueAtom GS strategy overcomes 3DGS limitations by employing densely distributed opaque Gaussians, avoiding biases toward larger particles that destabilize training and sharp color transitions for fine-grained textures. Experimental results show that FruitNinja substantially outperforms existing approaches, showcasing unmatched visual quality in real-time rendered internal views across arbitrary geometry manipulations.
• Abstract（参考訳）: 現実世界では、オブジェクトはスライスやカット時に内部のテクスチャを明らかにするが、今日の3D生成タスクではよく研究されていない。 例えば、仮想3Dスイカをスライスすると、肉と種子が明らかになる。 利用可能なデータセットがオブジェクトの完全な内部構造をキャプチャし、すべてのスライスからデータを収集することは現実的ではないため、生成メソッドは明らかなアプローチとなる。 しかし、現在の3D生成および塗装方法は、目に見える外観と内部テクスチャを見渡すことに集中することが多い。 このギャップを埋めるために,幾何学的および位相的変化を受ける3次元物体の内部テクスチャを生成する最初の方法であるFruitNinjaを紹介する。 提案手法では, 3次元ガウススティング(3DGS)によるオブジェクト生成を行い, 表面テクスチャと内部テクスチャを合成し, さらなる最適化を行なわずにリアルタイムスライシングとレンダリングを実現する。 FruitNinjaは、事前学習された拡散モデルを利用して、クロスセクションビューを段階的に塗布し、voxel-gridベースの滑らか化を適用して、オブジェクト全体にわたって凝集的なテクスチャを実現する。 我々のOpaqueAtom GS戦略は、3DGSの制約を克服し、密集した不透明なガウスを使い、トレーニングを不安定にする大きな粒子への偏りを回避し、きめ細かいテクスチャの鮮やかな色転移を回避します。 実験の結果、FruitNinjaは既存の手法よりも優れており、任意の幾何学的操作によって、リアルタイムにレンダリングされた内部ビューにおいて、未整合の視覚的品質を示す。

関連論文リスト

• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• Texturify: Generating Textures on 3D Shape Surfaces [34.726179801982646]
  本研究では3次元入力のテクスチャを予測する3次元形状を学習するためにTexturifyを提案する。 本手法では,3Dオブジェクトの学習に3Dカラー管理は不要である。
  論文  参考訳（メタデータ） (2022-04-05T18:00:04Z)
• Projective Urban Texturing [8.349665441428925]
  没入型都市環境における3次元都市メッシュのテクスチャ自動生成手法を提案する。 Projective Urban Texturing (PUT)は、実際のパノラマ画像から見えない都市メッシュへのテクスチャスタイルを再ターゲットする。 PUTは、未ペア画像からテクスチャへの変換用に設計されたニューラルアーキテクチャの、対照的で敵対的なトレーニングに依存している。
  論文  参考訳（メタデータ） (2022-01-25T14:56:52Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Implicit Feature Networks for Texture Completion from Partial 3D Data [56.93289686162015]
  我々はIF-Netsを人間と任意の物体の部分的テクスチャスキャンからテクスチャ補完に一般化する。 本モデルでは, 欠損したテクスチャ部品を, 完成した形状でインペイントすることに成功している。
  論文  参考訳（メタデータ） (2020-09-20T15:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。