論文の概要: Third Time's the Charm? Image and Video Editing with StyleGAN3
- arxiv url: http://arxiv.org/abs/2201.13433v1
- Date: Mon, 31 Jan 2022 18:44:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 16:57:06.413460
- Title: Third Time's the Charm? Image and Video Editing with StyleGAN3
- Title(参考訳): 3回目は魅力か?
StyleGAN3による画像とビデオ編集
- Authors: Yuval Alaluf, Or Patashnik, Zongze Wu, Asif Zamir, Eli Shechtman, Dani
Lischinski, Daniel Cohen-Or
- Abstract要約: StyleGANは間違いなく最も興味深くよく研究された生成モデルの一つである。
本稿では、最近のStyleGAN3アーキテクチャについて検討し、それ以前のアーキテクチャと比較し、その独特な利点と欠点について検討する。
- 参考スコア(独自算出の注目度): 70.36056009463738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: StyleGAN is arguably one of the most intriguing and well-studied generative
models, demonstrating impressive performance in image generation, inversion,
and manipulation. In this work, we explore the recent StyleGAN3 architecture,
compare it to its predecessor, and investigate its unique advantages, as well
as drawbacks. In particular, we demonstrate that while StyleGAN3 can be trained
on unaligned data, one can still use aligned data for training, without
hindering the ability to generate unaligned imagery. Next, our analysis of the
disentanglement of the different latent spaces of StyleGAN3 indicates that the
commonly used W/W+ spaces are more entangled than their StyleGAN2 counterparts,
underscoring the benefits of using the StyleSpace for fine-grained editing.
Considering image inversion, we observe that existing encoder-based techniques
struggle when trained on unaligned data. We therefore propose an encoding
scheme trained solely on aligned data, yet can still invert unaligned images.
Finally, we introduce a novel video inversion and editing workflow that
leverages the capabilities of a fine-tuned StyleGAN3 generator to reduce
texture sticking and expand the field of view of the edited video.
- Abstract(参考訳): StyleGANは間違いなく最も興味深く、よく研究された生成モデルの一つであり、画像生成、反転、操作において素晴らしいパフォーマンスを示している。
本稿では,最近のstylegan3アーキテクチャについて検討し,その先行アーキテクチャと比較し,そのユニークな利点と欠点について考察する。
特に、StyleGAN3は非整列データでトレーニングできるが、非整列画像を生成するのを妨げることなく、整列データをトレーニングに使用できることを示す。
次に、StyleGAN3の異なる潜伏空間のアンタングルを解析した結果、一般的に使われているW/W+空間はStyleGAN2空間よりも絡み合いが強く、より微細な編集にStyleSpaceを使うことの利点が強調された。
画像の逆転を考慮すると、既存のエンコーダベースの手法は、非整合データでトレーニングするときに苦労する。
そこで我々は、アライメントされたデータのみに基づいて訓練された符号化方式を提案する。
最後に、微調整されたStyleGAN3ジェネレータの機能を活用して、テクスチャの貼付を減らし、編集ビデオの視野を広げる新しいビデオインバージョンと編集ワークフローを提案する。
関連論文リスト
- Gaussian Splatting in Style [35.376015119962354]
テスト時に高品質なスタイリングされた新しいビューを生成できる,スタイルイメージのコレクションをトレーニングした新しいアーキテクチャを提案する。
本研究では,室内および屋外の様々な実世界のデータに対して,視覚的品質の優れた最先端性能を実現する方法を示す。
論文 参考訳(メタデータ) (2024-03-13T13:06:31Z) - StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting [141.05924680451804]
StyleGaussianは、新しい3Dスタイル転送技術である。
任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
論文 参考訳(メタデータ) (2024-03-12T16:44:52Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳(メタデータ) (2023-12-11T18:59:31Z) - Locally Stylized Neural Radiance Fields [30.037649804991315]
局所的なスタイル伝達に基づくニューラルレイディアンスフィールド(NeRF)のスタイリングフレームワークを提案する。
特に、ハッシュグリッド符号化を用いて外観や幾何学的要素の埋め込みを学習する。
提案手法は, 新規なビュー合成により, 可視なスタイリゼーション結果が得られることを示す。
論文 参考訳(メタデータ) (2023-09-19T15:08:10Z) - DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields [96.0858117473902]
3Dトーン化には、テクスチャ化された幾何学とテクスチャで、アートドメインのスタイルをターゲットの3D顔に転送することが含まれる。
階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。
提案手法は3次元トーン化を幾何学とテクスチャスタイリングのサブプロブレムに分解し,元の潜伏空間をよりよく保存する。
論文 参考訳(メタデータ) (2023-09-08T16:17:45Z) - NeRFEditor: Differentiable Style Decomposition for Full 3D Scene Editing [37.06344045938838]
我々は,3次元シーン編集のための効率的な学習フレームワークであるNeRFEditorを提案する。
NeRFEditorは360deg以上の映像を入力として撮影し、高品質でアイデンティティを保存可能なスタイリングされた3Dシーンを出力する。
論文 参考訳(メタデータ) (2022-12-07T18:44:28Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:55:31Z) - StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
論文 参考訳(メタデータ) (2021-12-02T18:59:59Z) - Learning to Stylize Novel Views [82.24095446809946]
任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。
本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
論文 参考訳(メタデータ) (2021-05-27T23:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。