論文の概要: Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

• arxiv url: http://arxiv.org/abs/2510.23605v1
• Date: Mon, 27 Oct 2025 17:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.664998
• Title: Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling
• Title（参考訳）: トラック・インペイント・リスプラ--プログレッシブテクスチャ・インフィルによる3次元・4次元生成
• Authors: Shuhong Zheng, Ashkan Mirzaei, Igor Gilitschenski,
• Abstract要約: TIRE(Track, Inpaint, REsplat)は、主観駆動型3D/4D生成の新しい手法である。 既存の3D生成モデルによって生成された最初の3Dアセットを入力として取り、ビデオトラッキングを使用して修正が必要な領域を特定する。 提案手法は,最先端手法と比較して3D/4D生成におけるアイデンティティの保存性を著しく向上させる。
• 参考スコア（独自算出の注目度）: 27.101602833212343
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Current 3D/4D generation methods are usually optimized for photorealism, efficiency, and aesthetics. However, they often fail to preserve the semantic identity of the subject across different viewpoints. Adapting generation methods with one or few images of a specific subject (also known as Personalization or Subject-driven generation) allows generating visual content that align with the identity of the subject. However, personalized 3D/4D generation is still largely underexplored. In this work, we introduce TIRE (Track, Inpaint, REsplat), a novel method for subject-driven 3D/4D generation. It takes an initial 3D asset produced by an existing 3D generative model as input and uses video tracking to identify the regions that need to be modified. Then, we adopt a subject-driven 2D inpainting model for progressively infilling the identified regions. Finally, we resplat the modified 2D multi-view observations back to 3D while still maintaining consistency. Extensive experiments demonstrate that our approach significantly improves identity preservation in 3D/4D generation compared to state-of-the-art methods. Our project website is available at https://zsh2000.github.io/track-inpaint-resplat.github.io/.
• Abstract（参考訳）: 現在の3D/4D生成法は通常、フォトリアリズム、効率性、美学に最適化されている。 しかし、それらはしばしば異なる視点で主題の意味的アイデンティティを保持することに失敗する。 特定の被写体(パーソナライズまたは被写体駆動生成とも呼ばれる)の1つか2つの画像で生成方法を適用することで、被写体の同一性に合わせて視覚的コンテンツを生成することができる。 しかし、パーソナライズされた3D/4D世代はまだほとんど探索されていない。 本研究では, TIRE (Track, Inpaint, REsplat) を紹介する。 既存の3D生成モデルによって生成された最初の3Dアセットを入力として取り、ビデオトラッキングを使用して修正が必要な領域を特定する。 次に,特定領域を段階的に埋め込むために,被験者駆動の2Dインペインティングモデルを採用する。 最後に,修正された2次元多視点観察を3Dに再設計し,一貫性を維持した。 大規模な実験により,本手法は最先端手法と比較して3D/4D生成におけるアイデンティティの保存性を著しく改善することが示された。 プロジェクトのWebサイトはhttps://zsh2000.github.io/track-inpaint-resplat.github.io/で公開されている。

関連論文リスト

• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
  本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。 また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
  論文  参考訳（メタデータ） (2024-04-30T17:59:40Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• Geometry aware 3D generation from in-the-wild images in ImageNet [18.157263188192434]
  本稿では,カメラポーズ情報のない多種多様な非構造化画像ネットから3次元形状を再構成する手法を提案する。 2次元画像から3次元モデルを学習し,StyleGAN2に基づいて生成元バックボーンのアーキテクチャを変更するために,効率的な三面体表現を用いる。 訓練されたジェネレータは、任意の視点からのレンダリングだけでなく、クラス条件の3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2024-01-31T23:06:39Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
  テクスチャ化された3Dメッシュの最初の生成モデルを示す。 我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。 レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
  論文  参考訳（メタデータ） (2020-04-08T18:00:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。