論文の概要: CLIP3Dstyler: Language Guided 3D Arbitrary Neural Style Transfer

• arxiv url: http://arxiv.org/abs/2305.15732v1
• Date: Thu, 25 May 2023 05:30:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:13:06.481218
• Title: CLIP3Dstyler: Language Guided 3D Arbitrary Neural Style Transfer
• Title（参考訳）: CLIP3Dstyler:言語ガイドによる3次元任意ニューラルスタイル転送
• Authors: Ming Gao, YanWu Xu, Yang Zhao, Tingbo Hou, Tingbo Hou, Chenkai Zhao, Mingming Gong
• Abstract要約: 言語誘導型任意型ニューラルスタイル転送法(CLIP3Dstyler)を提案する。 従来の2D手法であるCLIPStylerと比較して、3Dシーンをスタイリングし、モデルを再訓練することなく新しいシーンに一般化することができる。 我々は,テキスト誘導型3次元シーン転送におけるモデルの有効性を示すため,広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 39.05973553935356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a novel language-guided 3D arbitrary neural style transfer method (CLIP3Dstyler). We aim at stylizing any 3D scene with an arbitrary style from a text description, and synthesizing the novel stylized view, which is more flexible than the image-conditioned style transfer. Compared with the previous 2D method CLIPStyler, we are able to stylize a 3D scene and generalize to novel scenes without re-train our model. A straightforward solution is to combine previous image-conditioned 3D style transfer and text-conditioned 2D style transfer \bigskip methods. However, such a solution cannot achieve our goal due to two main challenges. First, there is no multi-modal model matching point clouds and language at different feature scales (\eg low-level, high-level). Second, we observe a style mixing issue when we stylize the content with different style conditions from text prompts. To address the first issue, we propose a 3D stylization framework to match the point cloud features with text features in local and global views. For the second issue, we propose an improved directional divergence loss to make arbitrary text styles more distinguishable as a complement to our framework. We conduct extensive experiments to show the effectiveness of our model on text-guided 3D scene style transfer.
• Abstract（参考訳）: 本稿では,新しい言語誘導3次元任意ニューラルスタイル伝達法(clip3dstyler)を提案する。 テキスト記述から任意のスタイルで任意の3Dシーンをスタイリングし、画像条件のスタイル転送よりも柔軟な新しいスタイル化されたビューを合成することを目的としている。 従来の2D手法CLIPStylerと比較して、3Dシーンをスタイリングし、新しいシーンに一般化することができる。 簡単な解決策は、以前の画像条件付き3Dスタイル転送とテキスト条件付き2Dスタイル転送 \bigskip メソッドを組み合わせることである。 しかしながら、このソリューションは2つの大きな課題のため、私たちの目標を達成できません。 まず、ポイントクラウドと言語を異なる機能スケール(低レベル、高レベル)でマッチングするマルチモーダルモデルはありません。 第2に,テキストプロンプトとスタイル条件の異なるコンテンツをスタイル化する場合のスタイル混合問題を観察した。 最初の課題に対処するため、ローカルおよびグローバルビューのテキスト機能とクラウド機能を一致させる3Dスタイリングフレームワークを提案する。 2つ目の問題として、任意のテキストスタイルをフレームワークの補体としてより区別しやすくするための方向性のばらつき損失の改善を提案する。 テキスト誘導型3次元シーン転送におけるモデルの有効性を示すため,広範囲な実験を行った。

関連論文リスト

• StyleSplat: 3D Object Style Transfer with Gaussian Splatting [0.3374875022248866]
  スタイル転送は、さまざまな芸術スタイルで3Dアセットを強化し、創造的な表現を変革する。 本稿では,3次元ガウス表現シーンにおける3次元オブジェクトのスタイリング手法であるStyleSplatを紹介する。 様々な3Dシーンやスタイルにまたがって有効性を示し、3D生成における制御とカスタマイズの強化を示す。
  論文  参考訳（メタデータ） (2024-07-12T17:55:08Z)
• PNeSM: Arbitrary 3D Scene Stylization via Prompt-Based Neural Style Mapping [16.506819625584654]
  3Dシーンスタイリング(3D scene stylization)とは、3Dシーンの外観を、所定のスタイルのイメージに合わせるように変換することである。 既存のいくつかの手法は、3Dシーンのスタイリングにおいて印象的な結果を得た。 任意のシーンに任意のスタイルを転送する新しい3Dシーンスタイリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-13T05:08:47Z)
• TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
  我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。 提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-12-07T12:10:05Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
  StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。 3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。 グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
  論文  参考訳（メタデータ） (2023-03-19T08:26:06Z)
• Learning to Stylize Novel Views [82.24095446809946]
  任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。 本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
  論文  参考訳（メタデータ） (2021-05-27T23:58:18Z)
• Exemplar-Based 3D Portrait Stylization [23.585334925548064]
  ワンショット3Dポートレートスタイル転送のための最初のフレームワークを提示する。 形状が誇張され、テクスチャがスタイリングされた3Dフェイスモデルを生成することができる。 本手法は,異なるスタイルの芸術的効果を強く達成し,既存の手法より優れる。
  論文  参考訳（メタデータ） (2021-04-29T17:59:54Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。