論文の概要: Creative Birds: Self-Supervised Single-View 3D Style Transfer

• arxiv url: http://arxiv.org/abs/2307.14127v1
• Date: Wed, 26 Jul 2023 11:47:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 12:29:06.954898
• Title: Creative Birds: Self-Supervised Single-View 3D Style Transfer
• Title（参考訳）: creative birds: 自己監督型single-view 3dスタイルトランスファー
• Authors: Renke Wang, Guimin Que, Shuo Chen, Xiang Li, Jun Li, Jian Yang
• Abstract要約: 形状とテクスチャを両立させたユニークな3Dオブジェクトを生成する一視点3Dスタイル転送法を提案する。 本研究は,3次元再構成において一般的な課題である鳥に焦点をあてるものであり,既存の単視3次元転写法は開発されていない。
• 参考スコア（独自算出の注目度）: 23.64817899864608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel method for single-view 3D style transfer that generates a unique 3D object with both shape and texture transfer. Our focus lies primarily on birds, a popular subject in 3D reconstruction, for which no existing single-view 3D transfer methods have been developed.The method we propose seeks to generate a 3D mesh shape and texture of a bird from two single-view images. To achieve this, we introduce a novel shape transfer generator that comprises a dual residual gated network (DRGNet), and a multi-layer perceptron (MLP). DRGNet extracts the features of source and target images using a shared coordinate gate unit, while the MLP generates spatial coordinates for building a 3D mesh. We also introduce a semantic UV texture transfer module that implements textural style transfer using semantic UV segmentation, which ensures consistency in the semantic meaning of the transferred regions. This module can be widely adapted to many existing approaches. Finally, our method constructs a novel 3D bird using a differentiable renderer. Experimental results on the CUB dataset verify that our method achieves state-of-the-art performance on the single-view 3D style transfer task. Code is available in https://github.com/wrk226/2D-to-3D-Evolution-Transfer.
• Abstract（参考訳）: 本稿では, 形状とテクスチャを両立させたユニークな3Dオブジェクトを生成する, 単一視点3Dスタイルのトランスファー手法を提案する。 提案手法は鳥の3dメッシュ形状とテクスチャを2枚の単一視点画像から生成することを目的としている。 そこで本研究では,dual residual gated network(drgnet)とmulti-layer perceptron(mlp)を組み合わせた新しい形状伝達生成器を提案する。 drgnetは共有座標ゲートユニットを用いてソースおよびターゲット画像の特徴を抽出し、mlpは3dメッシュを構築するための空間座標を生成する。 また,セマンティクスuvセグメンテーションを用いたテクスチャスタイル転送を実装するセマンティクスuvテクスチャ転送モジュールも導入し,セマンティクス領域の意味的意味の一貫性を保証する。 このモジュールは多くの既存のアプローチに広く適用できる。 最後に,識別可能なレンダラーを用いて新しい3次元鳥を構築する。 CUBデータセットの実験結果から,本手法が一視点3Dスタイル転送タスクにおける最先端性能を実現することが確認された。 コードはhttps://github.com/wrk226/2D-to-3D-Evolution-Transferで公開されている。

関連論文リスト

• Free3D: Consistent Novel View Synthesis without 3D Representation [63.931920010054064]
  Free3Dは単分子開集合新規ビュー合成(NVS)の簡易的高精度な方法である 同様のアプローチを採った他の作品と比較して,明快な3D表現に頼らずに大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-12-07T18:59:18Z)
• Consistent Mesh Diffusion [8.318075237885857]
  UVパラメータ化による3Dメッシュを前提として,テキストプロンプトからテクスチャを生成する新しいアプローチを提案する。 当社のアプローチは、30メッシュを含むデータセット上で、メッシュ毎に約5分を要することを実証しています。
  論文  参考訳（メタデータ） (2023-12-01T23:25:14Z)
• DI-Net : Decomposed Implicit Garment Transfer Network for Digital Clothed 3D Human [75.45488434002898]
  既存の2D仮想試行法は、各ピクセルの深さを知覚できないため、直接3Dに拡張することはできない。 本稿では,新たに試みられた3次元メッシュをシームレスに再構築可能な,分解型インプリシト衣服転送ネットワーク(DI-Net)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T14:28:41Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models [21.622420436349245]
  入力としてテキストプロンプトからルームスケールのテクスチャ化された3Dメッシュを生成する方法であるText2Roomを提案する。 我々は、事前訓練された2次元テキスト・画像モデルを利用して、異なるポーズから画像列を合成する。 これらの出力を一貫した3次元シーン表現に引き上げるために、単眼深度推定とテキスト条件のインペイントモデルを組み合わせる。
  論文  参考訳（メタデータ） (2023-03-21T16:21:02Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style Variations [81.45521258652734]
  本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。 提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
  論文  参考訳（メタデータ） (2021-08-30T02:28:31Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。