論文の概要: NLUT: Neural-based 3D Lookup Tables for Video Photorealistic Style
Transfer
- arxiv url: http://arxiv.org/abs/2303.09170v2
- Date: Fri, 17 Mar 2023 05:10:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-20 11:06:04.724993
- Title: NLUT: Neural-based 3D Lookup Tables for Video Photorealistic Style
Transfer
- Title(参考訳): nlut: ビデオフォトリアリスティックなスタイル転送のためのニューラルベースの3dルックアップテーブル
- Authors: Yaosen Chen, Han Yang, Yuexin Yang, Yuegen Liu, Wei Wang, Xuming Wen,
Chaoping Xie
- Abstract要約: ビデオスタイルの転送は、時間的一貫性を維持しつつ、スタイルイメージに類似したフォトリアリスティックなスタイルで生成することが望まれる。
既存の方法はフレーム単位のフォトリアリスティックなスタイル転送を行うことで、非効率で、タイマライズされたビデオの時間的一貫性が保証されない、スタイリングされたビデオシーケンスを得る。
まず、大規模なデータセット上でスタイリングされた3D LUTを生成するニューラルネットワークをトレーニングし、次に、特定のビデオに対してフォトリアリスティックなスタイル転送を行う際に、ビデオ内のビデオとスタイルイメージをデータソースとして選択し、ニューラルネットワークを微調整する。
最後に、ファインによって生成される3D LUTを問い合わせる。
- 参考スコア(独自算出の注目度): 5.442253227842167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video photorealistic style transfer is desired to generate videos with a
similar photorealistic style to the style image while maintaining temporal
consistency. However, existing methods obtain stylized video sequences by
performing frame-by-frame photorealistic style transfer, which is inefficient
and does not ensure the temporal consistency of the stylized video. To address
this issue, we use neural network-based 3D Lookup Tables (LUTs) for the
photorealistic transfer of videos, achieving a balance between efficiency and
effectiveness. We first train a neural network for generating photorealistic
stylized 3D LUTs on a large-scale dataset; then, when performing photorealistic
style transfer for a specific video, we select a keyframe and style image in
the video as the data source and fine-turn the neural network; finally, we
query the 3D LUTs generated by the fine-tuned neural network for the colors in
the video, resulting in a super-fast photorealistic style transfer, even
processing 8K video takes less than 2 millisecond per frame. The experimental
results show that our method not only realizes the photorealistic style
transfer of arbitrary style images but also outperforms the existing methods in
terms of visual quality and consistency. Project
page:https://semchan.github.io/NLUT_Project.
- Abstract(参考訳): ビデオフォトリアリスティックなスタイル転送は、時間的一貫性を維持しつつ、スタイル画像に類似したフォトリアリスティックなスタイルの動画を生成することが望まれる。
しかし,既存の手法ではフレーム単位のフォトリアリスティックなスタイル転送を行うことで,スタイリングされた映像の時間的一貫性を確保できない。
この問題に対処するために,我々は,映像のフォトリアリスティックな転送にluts(neural network-based 3d lookup tables)を使用し,効率と効率のバランスを実現している。
We first train a neural network for generating photorealistic stylized 3D LUTs on a large-scale dataset; then, when performing photorealistic style transfer for a specific video, we select a keyframe and style image in the video as the data source and fine-turn the neural network; finally, we query the 3D LUTs generated by the fine-tuned neural network for the colors in the video, resulting in a super-fast photorealistic style transfer, even processing 8K video takes less than 2 millisecond per frame.
実験の結果,任意のスタイル画像の光写実的スタイル転送を実現するだけでなく,視覚的品質や一貫性の観点からも既存手法よりも優れていた。
プロジェクトページ:https://semchan.github.io/NLUT_Project
関連論文リスト
- StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting [141.05924680451804]
StyleGaussianは、新しい3Dスタイル転送技術である。
任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
論文 参考訳(メタデータ) (2024-03-12T16:44:52Z) - WAIT: Feature Warping for Animation to Illustration video Translation
using GANs [12.681919619814419]
ビデオのスタイリングにおいて,未順序画像の集合を用いる場合の新たな問題を提案する。
映像から映像への翻訳のほとんどは、画像から画像への翻訳モデルに基づいて構築されている。
本稿では,従来の手法の限界を克服する特徴変形層を有する新しいジェネレータネットワークを提案する。
論文 参考訳(メタデータ) (2023-10-07T19:45:24Z) - NILUT: Conditional Neural Implicit 3D Lookup Tables for Image
Enhancement [82.75363196702381]
3次元ルックアップテーブル(3D LUT)は、画像強調のための重要なコンポーネントである。
3D LUTを学習し、適用するための現在のアプローチは、明らかに高速だが、メモリ効率はそれほど高くない。
ニューラルネットワークによってパラメータ化される暗黙的に定義された連続3次元色変換であるニューラルインプリシット LUT (NILUT) を提案する。
論文 参考訳(メタデータ) (2023-06-20T22:06:39Z) - UPST-NeRF: Universal Photorealistic Style Transfer of Neural Radiance
Fields for 3D Scene [2.1033122829097484]
3Dシーンのフォトリアリスティックなスタイリゼーションは、与えられたスタイルの画像に従って任意の新しいビューからフォトリアリスティックな画像を生成することを目的としている。
ニューラルラディアンスフィールドを持つ既存のスタイリング手法は、スタイリングされたシーンを効果的に予測することができる。
本稿では,これらの問題に対処する新しい3Dシーン光写実的スタイル転送フレームワークを提案する。
論文 参考訳(メタデータ) (2022-08-15T08:17:35Z) - Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。
提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
論文 参考訳(メタデータ) (2022-06-27T06:48:15Z) - Copy Motion From One to Another: Fake Motion Video Generation [53.676020148034034]
人工知能の魅力的な応用は、任意の所望の動作を行う対象者のビデオを生成することである。
現在の手法では、通常、生成されたビデオの信頼性を評価するために、L2損失のGANを用いる。
本稿では,ポーズから前景画像へのマッピングの学習を容易にする理論的動機付け型Gromov-Wasserstein損失を提案する。
本手法は,人物の複雑な動きを忠実にコピーすることで,現実的な人物映像を生成できる。
論文 参考訳(メタデータ) (2022-05-03T08:45:22Z) - Robust Pose Transfer with Dynamic Details using Neural Video Rendering [48.48929344349387]
画像翻訳に基づくダイナミックディテール生成ネットワーク(D2G-Net)を組み合わせたニューラルビデオレンダリングフレームワークを提案する。
具体的には、テクスチャ表現を新たに提示し、静的およびポーズ変化の外観特性の両方を符号化する。
我々のニューラルヒューマンビデオは、2kから4kのフレームしか持たない短いビデオでも、より明確なダイナミックディテールとより堅牢なパフォーマンスを達成することができることを実証しています。
論文 参考訳(メタデータ) (2021-06-27T03:40:22Z) - Joint Bilateral Learning for Real-time Universal Photorealistic Style
Transfer [18.455002563426262]
フォトリアリスティックなスタイル転送は、画像の芸術的スタイルをコンテンツターゲットに転送し、カメラで撮影可能な結果を生成するタスクである。
ディープニューラルネットワークに基づく最近のアプローチでは、印象的な結果が得られるが、現実的な解像度での実行には遅すぎるか、好ましくないアーティファクトがまだ含まれている。
高速かつ本質的にフォトリアリスティックな結果を生成するフォトリアリスティックなスタイル転送のための新しいエンド・ツー・エンドモデルを提案する。
論文 参考訳(メタデータ) (2020-04-23T03:31:24Z) - Neural Human Video Rendering by Learning Dynamic Textures and
Rendering-to-Video Translation [99.64565200170897]
本研究では,2次元スクリーン空間に人体を埋め込むことで,時間的コヒーレントな微細な細部を学習することで,人間の映像合成手法を提案する。
我々は,人間の再現やモノクロ映像からの新たなビュー合成などのアプローチの適用例を示し,質的にも定量的にも,芸術の状態を著しく改善した。
論文 参考訳(メタデータ) (2020-01-14T18:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。