論文の概要: ReStyle3D: Scene-Level Appearance Transfer with Semantic Correspondences

• arxiv url: http://arxiv.org/abs/2502.10377v1
• Date: Fri, 14 Feb 2025 18:54:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:44:26.313970
• Title: ReStyle3D: Scene-Level Appearance Transfer with Semantic Correspondences
• Title（参考訳）: ReStyle3D:セマンティック対応によるシーンレベルの出現
• Authors: Liyuan Zhu, Shengqu Cai, Shengyu Huang, Gordon Wetzstein, Naji Khosravan, Iro Armeni,
• Abstract要約: ReStyle3Dは、シーンレベルの外観を1つのスタイルのイメージから、複数のビューで表現された現実世界のシーンに転送するためのフレームワークである。 明示的な意味対応と多視点整合性を組み合わせることで、正確で一貫性のあるスタイリングを実現する。 私たちのコード、事前訓練されたモデル、データセットは、インテリアデザイン、仮想ステージング、そして3D一貫性のあるスタイリングにおける新しいアプリケーションをサポートするために、公開されます。
• 参考スコア（独自算出の注目度）: 33.06053818091165
• License:
• Abstract: We introduce ReStyle3D, a novel framework for scene-level appearance transfer from a single style image to a real-world scene represented by multiple views. The method combines explicit semantic correspondences with multi-view consistency to achieve precise and coherent stylization. Unlike conventional stylization methods that apply a reference style globally, ReStyle3D uses open-vocabulary segmentation to establish dense, instance-level correspondences between the style and real-world images. This ensures that each object is stylized with semantically matched textures. It first transfers the style to a single view using a training-free semantic-attention mechanism in a diffusion model. It then lifts the stylization to additional views via a learned warp-and-refine network guided by monocular depth and pixel-wise correspondences. Experiments show that ReStyle3D consistently outperforms prior methods in structure preservation, perceptual style similarity, and multi-view coherence. User studies further validate its ability to produce photo-realistic, semantically faithful results. Our code, pretrained models, and dataset will be publicly released, to support new applications in interior design, virtual staging, and 3D-consistent stylization.
• Abstract（参考訳）: ReStyle3Dは、1つのスタイルのイメージから複数のビューで表現された現実のシーンへシーンレベルの外観を移す新しいフレームワークである。 この方法は、明示的な意味対応と多視点整合性を組み合わせることで、正確で一貫性のあるスタイリングを実現する。 参照スタイルをグローバルに適用する従来のスタイル化手法とは異なり、ReStyle3Dはオープン語彙セグメンテーションを使用して、スタイルと実世界のイメージ間の密集したインスタンスレベルの対応を確立する。 これにより、各オブジェクトがセマンティックにマッチしたテクスチャでスタイル化される。 まず、拡散モデルでトレーニング不要なセマンティックアテンションメカニズムを使用して、スタイルを単一のビューに転送する。 そして、モノクロ深度とピクセルワイド対応によって導かれる学習されたワープ・アンド・リファインなネットワークを通じて、スタイリングを付加的なビューに引き上げる。 実験により、ReStyle3Dは、構造保存、知覚スタイルの類似性、多視点コヒーレンスにおいて、従来手法よりも一貫して優れていることが示された。 ユーザスタディは、フォトリアリスティックでセマンティックに忠実な結果を生み出す能力をさらに検証する。 私たちのコード、事前訓練されたモデル、データセットは、インテリアデザイン、仮想ステージング、そして3D一貫性のあるスタイリングにおける新しいアプリケーションをサポートするために、公開されます。

関連論文リスト

• MRStyle: A Unified Framework for Color Style Transfer with Multi-Modality Reference [32.64957647390327]
  MRStyleは、画像やテキストを含む多モード参照を用いたカラースタイルの転送を可能にするフレームワークである。 テキスト参照では、安定拡散前のテキスト特徴とIRStyleのスタイル特徴とを一致させて、テキスト誘導カラースタイル転送(TRStyle)を行う。 我々のTRStyle法はトレーニングと推論の両方において極めて効率的であり、オープンセットのテキスト誘導転送結果を生成する。
  論文  参考訳（メタデータ） (2024-09-09T00:01:48Z)
• InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation [4.1177497612346]
  スタイル転送(Style Transfer)は、視覚的なスタイルを取り入れながら、オリジナルの本質を維持するイメージを作成するために設計された革新的なプロセスである。 InstantStyle-Plusは、ターゲットスタイルをシームレスに統合しながら、オリジナルコンテンツの整合性を優先するアプローチである。
  論文  参考訳（メタデータ） (2024-06-30T18:05:33Z)
• ArtWeaver: Advanced Dynamic Style Integration via Diffusion Model [73.95608242322949]
  Stylized Text-to-Image Generation (STIG)は、テキストプロンプトとスタイル参照画像から画像を生成することを目的としている。 我々は、事前訓練された安定拡散を利用して、誤解釈スタイルや一貫性のない意味論といった課題に対処する新しいフレームワーク、ArtWeaverを提案する。
  論文  参考訳（メタデータ） (2024-05-24T07:19:40Z)
• CLIP3Dstyler: Language Guided 3D Arbitrary Neural Style Transfer [41.388313754081544]
  言語誘導型任意型ニューラルスタイル転送法(CLIP3Dstyler)を提案する。 従来の2D手法であるCLIPStylerと比較して、3Dシーンをスタイリングし、モデルを再訓練することなく新しいシーンに一般化することができる。 我々は,テキスト誘導型3次元シーン転送におけるモデルの有効性を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-05-25T05:30:13Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization [66.42741426640633]
  DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。 本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
  論文  参考訳（メタデータ） (2022-11-19T12:30:44Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• Unified Implicit Neural Stylization [80.59831861186227]
  この研究は、スタイル化された暗黙の表現のトレーニングという、新しい興味深い方向性を探求する。 本研究では,2次元座標に基づく表現,ニューラルラディアンス場,符号付き距離関数など,様々な暗黙関数に関するパイロット研究を行う。 我々のソリューションは、INSと呼ばれる統一暗黙的ニューラルスティル化フレームワークです。
  論文  参考訳（メタデータ） (2022-04-05T02:37:39Z)
• StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
  屋内シーンのメッシュ再構成にスタイル転送を適用する。 これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:59Z)
• STALP: Style Transfer with Auxiliary Limited Pairing [36.23393954839379]
  本稿では,1対のソース画像と,そのスタイリング画像を用いた画像の例ベーススタイリング手法を提案する。 本研究では,対象画像に対するリアルタイムな意味論的スタイル転送が可能な画像翻訳ネットワークの訓練方法を示す。
  論文  参考訳（メタデータ） (2021-10-20T11:38:41Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。