論文の概要: Refaçade: Editing Object with Given Reference Texture
- arxiv url: http://arxiv.org/abs/2512.04534v1
- Date: Thu, 04 Dec 2025 07:30:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-05 21:11:46.047099
- Title: Refaçade: Editing Object with Given Reference Texture
- Title(参考訳): Refaçade: 指定した参照テクスチャでオブジェクトを編集する
- Authors: Youze Huang, Penghui Ruan, Bojia Zi, Xianbiao Qi, Jianan Wang, Rong Xiao,
- Abstract要約: 我々は、画像やビデオにおいて、参照オブジェクトから対象オブジェクトに局所的なテクスチャを転送する新しいタスク、Object Retextureを導入する。
テクスチャ伝達を高精度かつ制御可能な2つの鍵設計法であるRefaadeを提案する。
実験は、優れた視覚的品質、正確な編集、制御性を示し、定量評価と人的評価の両方において強いベースラインを上回ります。
- 参考スコア(独自算出の注目度): 20.77414125478857
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in diffusion models have brought remarkable progress in image and video editing, yet some tasks remain underexplored. In this paper, we introduce a new task, Object Retexture, which transfers local textures from a reference object to a target object in images or videos. To perform this task, a straightforward solution is to use ControlNet conditioned on the source structure and the reference texture. However, this approach suffers from limited controllability for two reasons: conditioning on the raw reference image introduces unwanted structural information, and it fails to disentangle the visual texture and structure information of the source. To address this problem, we propose Refaçade, a method that consists of two key designs to achieve precise and controllable texture transfer in both images and videos. First, we employ a texture remover trained on paired textured/untextured 3D mesh renderings to remove appearance information while preserving the geometry and motion of source videos. Second, we disrupt the reference global layout using a jigsaw permutation, encouraging the model to focus on local texture statistics rather than the global layout of the object. Extensive experiments demonstrate superior visual quality, precise editing, and controllability, outperforming strong baselines in both quantitative and human evaluations. Code is available at https://github.com/fishZe233/Refacade.
- Abstract(参考訳): 拡散モデルの最近の進歩は、画像やビデオの編集において顕著な進歩をもたらしたが、いくつかのタスクは未探索のままである。
本稿では,画像やビデオにおいて,参照対象から対象対象に局所的なテクスチャを伝達するObject Retextureを提案する。
このタスクを実行するには、ソース構造と参照テクスチャに条件付けされたControlNetを使用することが簡単な方法である。
しかし, 原画像の条件付けが不要な構造情報を導入し, ソースの視覚的テクスチャや構造情報を乱すという2つの理由により, 制御性に限界がある。
この問題に対処するために、画像とビデオの両方において、正確かつ制御可能なテクスチャ転送を実現するために、2つのキーデザインからなるRefaçadeを提案する。
まず,2組のテクスチャ付き/非テクスチャ付き3Dメッシュレンダリングに基づいてトレーニングしたテクスチャ除去器を用いて,映像の形状と動きを保存しながら外観情報を除去する。
第二に、ジグソー置換を用いて参照グローバルなレイアウトを乱し、オブジェクトのグローバルなレイアウトではなく、局所的なテクスチャ統計にフォーカスするようモデルに促す。
広汎な実験は、優れた視覚的品質、正確な編集、制御性を示し、定量評価と人的評価の両方において強いベースラインを上回ります。
コードはhttps://github.com/fishZe233/Refacade.comで入手できる。
関連論文リスト
- ZeroScene: A Zero-Shot Framework for 3D Scene Generation from a Single Image and Controllable Texture Editing [36.098009720325436]
画像から3Dのシーン再構成とテクスチャ編集をゼロショットで行う新しいシステムを提案する。
ZeroSceneは、入力画像からオブジェクトレベルの2Dセグメンテーションと深度情報を抽出し、シーン内の空間的関係を推測する。
そして、ポイントクラウドの3Dおよび2Dプロジェクション損失を共同で最適化し、正確なシーンアライメントのためのオブジェクトのポーズを更新する。
論文 参考訳(メタデータ) (2025-09-28T03:21:12Z) - TexTailor: Customized Text-aligned Texturing via Effective Resampling [14.861723817863806]
テキスト記述から一貫したテクスチャを生成する新しい方法であるTexTailorを提案する。
既存のテキスト・テクスチャ合成アプローチでは、深度認識拡散モデルを用いて画像を生成し、複数の視点でテクスチャを合成する。
我々は、オブジェクトの形状に基づいてカメラの位置を適応的に調整することで、ビュー一貫性テクスチャの合成を改善する。
論文 参考訳(メタデータ) (2025-06-12T11:55:44Z) - Real-time Free-view Human Rendering from Sparse-view RGB Videos using Double Unprojected Textures [87.80984588545589]
スパースビューのRGB入力からのリアルタイム自由視点人体レンダリングは、センサー不足と厳しい時間予算のために難しい課題である。
本稿では,2重非投影テクスチャについて述べる。その中心部では外観合成から粗い幾何学的変形推定を行う。
論文 参考訳(メタデータ) (2024-12-17T18:57:38Z) - DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。
まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。
初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
論文 参考訳(メタデータ) (2024-06-03T17:59:53Z) - DragTex: Generative Point-Based Texture Editing on 3D Mesh [11.163205302136625]
本稿ではDragTexと呼ばれる3次元メッシュテクスチャ生成手法を提案する。
この方法は拡散モデルを用いて、変形したシルエット付近の局所的に不整合なテクスチャを異なる視点でブレンドする。
個々のビューを個別にトレーニングするのではなく、マルチビューイメージを使用してLoRAをトレーニングします。
論文 参考訳(メタデータ) (2024-03-04T17:05:01Z) - VASE: Object-Centric Appearance and Shape Manipulation of Real Videos [108.60416277357712]
本研究では,オブジェクトの外観と,特にオブジェクトの精密かつ明示的な構造的変更を実行するために設計された,オブジェクト中心のフレームワークを紹介する。
我々は,事前学習した画像条件拡散モデル上にフレームワークを構築し,時間次元を扱うためのレイヤを統合するとともに,形状制御を実現するためのトレーニング戦略とアーキテクチャ修正を提案する。
我々は,画像駆動映像編集タスクにおいて,最先端技術に類似した性能を示し,新しい形状編集機能を示す手法について検討した。
論文 参考訳(メタデータ) (2024-01-04T18:59:24Z) - Texture Transform Attention for Realistic Image Inpainting [6.275013056564918]
本研究では,細心の注意を払って絵を描いていない領域をより良く生成するテクスチャトランスフォーメーション・アテンション・ネットワークを提案する。
Texture Transform Attentionは、細かいテクスチャと粗いセマンティクスを使用して、新しい再組み立てテクスチャマップを作成するために使用されます。
我々は,公開データセット celeba-hq と places2 を用いて,エンドツーエンドでモデルを評価する。
論文 参考訳(メタデータ) (2020-12-08T06:28:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。