論文の概要: 3DSwapping: Texture Swapping For 3D Object From Single Reference Image
- arxiv url: http://arxiv.org/abs/2503.18853v1
- Date: Mon, 24 Mar 2025 16:31:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:35:27.364233
- Title: 3DSwapping: Texture Swapping For 3D Object From Single Reference Image
- Title（参考訳）: 3DSwapping:単一の参照画像から3Dオブジェクトのテクスチャスワッピング
- Authors: Xiao Cao, Beibei Lin, Bo Wang, Zhiyong Huang, Robby T. Tan,
- Abstract要約: 3Dテクスチャスワップは、3Dオブジェクトテクスチャのカスタマイズを可能にする。
専用の方法はないが、適応された2D編集とテキスト駆動の3D編集アプローチは、この目的を果たすことができる。
3DSワッピング,3次元テクスチャスワッピング方式を導入し,プログレッシブ・ジェネレーション,ビュー・コンシスタンス・グラデーション・ガイダンス,プロンプト・チューニング・グラデーション・ガイダンスを統合した。
- 参考スコア（独自算出の注目度）: 21.454340647455236
- License:
- Abstract: 3D texture swapping allows for the customization of 3D object textures, enabling efficient and versatile visual transformations in 3D editing. While no dedicated method exists, adapted 2D editing and text-driven 3D editing approaches can serve this purpose. However, 2D editing requires frame-by-frame manipulation, causing inconsistencies across views, while text-driven 3D editing struggles to preserve texture characteristics from reference images. To tackle these challenges, we introduce 3DSwapping, a 3D texture swapping method that integrates: 1) progressive generation, 2) view-consistency gradient guidance, and 3) prompt-tuned gradient guidance. To ensure view consistency, our progressive generation process starts by editing a single reference image and gradually propagates the edits to adjacent views. Our view-consistency gradient guidance further reinforces consistency by conditioning the generation model on feature differences between consistent and inconsistent outputs. To preserve texture characteristics, we introduce prompt-tuning-based gradient guidance, which learns a token that precisely captures the difference between the reference image and the 3D object. This token then guides the editing process, ensuring more consistent texture preservation across views. Overall, 3DSwapping integrates these novel strategies to achieve higher-fidelity texture transfer while preserving structural coherence across multiple viewpoints. Extensive qualitative and quantitative evaluations confirm that our three novel components enable convincing and effective 2D texture swapping for 3D objects. Code will be available upon acceptance.
- Abstract（参考訳）: 3Dテクスチャスワップは3Dオブジェクトテクスチャのカスタマイズを可能にし、3D編集において効率的で多用途な視覚変換を可能にする。
専用の方法はないが、適応された2D編集とテキスト駆動の3D編集アプローチはこの目的を果たすことができる。
しかし、2D編集にはフレーム単位の操作が必要で、ビュー間で矛盾が生じ、テキスト駆動の3D編集は参照画像からテクスチャ特性を保存するのに苦労する。
これらの課題に対処するために、我々は3Dテクスチャスワッピング法である3DSwappingを紹介した。
1)プログレッシブ・ジェネレーション
2 ビュー整合性勾配ガイダンス及び
3) 急速調整による勾配誘導。
ビューの一貫性を確保するために、我々のプログレッシブ生成プロセスは、単一の参照画像を編集し、隣接するビューに徐々にプロパガンダ化する。
我々のビュー一貫性勾配ガイダンスは、一貫性のある出力と一貫性のない出力の特徴差を生成モデルに条件付けすることで、一貫性をさらに強化する。
テクスチャ特性の保存のために,基準画像と3Dオブジェクトの違いを正確に把握するトークンを学習する,プロンプトチューニングに基づく勾配誘導を導入する。
このトークンは編集プロセスをガイドし、ビュー間のより一貫性のあるテクスチャ保存を保証する。
全体として、3DSワッピングは、複数の視点で構造的コヒーレンスを維持しながら、高忠実度テクスチャ転送を実現するためにこれらの新しい戦略を統合している。
大規模定性的,定量的な評価により,3つの新しい要素が3次元オブジェクトに対して有効かつ効果的な2次元テクスチャスワップを可能にすることが確認された。
コードは受理後利用可能になる。
関連論文リスト
- DragScene: Interactive 3D Scene Editing with Single-view Drag Instructions [9.31257776760014]
3D編集は、様々な指示に基づいてシーンを編集する際、顕著な能力を示した。
既存の方法は直感的で局所的な編集に苦労する。
DragSceneは、ドラッグスタイルの編集と多様な3D表現を統合するフレームワークである。
論文 参考訳（メタデータ） (2024-12-18T07:02:01Z) - Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。
Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。
その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
論文 参考訳（メタデータ） (2024-07-09T13:24:42Z) - SyncNoise: Geometrically Consistent Noise Prediction for Text-based 3D Scene Editing [58.22339174221563]
高忠実度3Dシーン編集のための新しい幾何誘導型マルチビュー一貫したノイズ編集手法SyncNoiseを提案する。
SyncNoiseは2次元拡散モデルで複数のビューを同期的に編集し、幾何的に一貫した多視点ノイズ予測を行う。
本手法は,特に複雑なテクスチャを持つシーンにおいて,テキストの指示に配慮した高品質な3D編集結果を実現する。
論文 参考訳（メタデータ） (2024-06-25T09:17:35Z) - Reference-Based 3D-Aware Image Editing with Triplanes [15.222454412573455]
GAN(Generative Adversarial Networks)は、高品質な画像生成と、潜伏空間を操作することで実際の画像編集のための強力なツールとして登場した。
GANの最近の進歩には、EG3Dのような3次元認識モデルが含まれており、単一の画像から3次元幾何学を再構築できる効率的な三面体ベースのアーキテクチャを備えている。
本研究では,先進的な参照ベース編集における三面体空間の有効性を探索し,実証することにより,このギャップを解消する。
論文 参考訳（メタデータ） (2024-04-04T17:53:33Z) - View-Consistent 3D Editing with Gaussian Splatting [50.6460814430094]
View-Consistent Editing (VcEdit)は、3DGSをシームレスに画像編集プロセスに組み込む新しいフレームワークである。
一貫性モジュールを反復パターンに組み込むことで、VcEditはマルチビューの不整合の問題を十分に解決する。
論文 参考訳（メタデータ） (2024-03-18T15:22:09Z) - DragTex: Generative Point-Based Texture Editing on 3D Mesh [11.163205302136625]
本稿ではDragTexと呼ばれる3次元メッシュテクスチャ生成手法を提案する。
この方法は拡散モデルを用いて、変形したシルエット付近の局所的に不整合なテクスチャを異なる視点でブレンドする。
個々のビューを個別にトレーニングするのではなく、マルチビューイメージを使用してLoRAをトレーニングします。
論文 参考訳（メタデータ） (2024-03-04T17:05:01Z) - Image Sculpting: Precise Object Editing with 3D Geometry Control [33.9777412846583]
Image Sculptingは、3D幾何学とグラフィックスのツールを組み込むことで、2D画像を編集する新しいフレームワークである。
これは、ポーズ編集、回転、翻訳、3D合成、彫刻、シリアル追加といった、正確で定量化され、物理的に証明可能な編集オプションをサポートする。
論文 参考訳（メタデータ） (2024-01-02T18:59:35Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [90.57414218888536]
カラーフィールドは、標準画像(canonical image)とも呼ばれる、明示的な2次元の外観アグリゲーションとして学習する。
テクスチャクエリのために3Dポイントを2Dピクセルにマッピングする投影場を標準画像に補完する。
提案手法は,既存のNeRFベースの編集手法に比べて,編集1回あたり20倍高速であることを示す。
論文 参考訳（メタデータ） (2023-12-11T18:59:31Z) - TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。
提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
論文 参考訳（メタデータ） (2023-12-07T12:10:05Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳（メタデータ） (2022-12-14T18:49:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。