論文の概要: NLUT: Neuarl-based 3D Lookup Tables for Video Photorealistic Style Transfer

• arxiv url: http://arxiv.org/abs/2303.09170v1
• Date: Thu, 16 Mar 2023 09:27:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 16:19:12.923203
• Title: NLUT: Neuarl-based 3D Lookup Tables for Video Photorealistic Style Transfer
• Title（参考訳）: nlut:neuarlベースのビデオフォトリアリスティックスタイル転送のための3dルックアップテーブル
• Authors: Yaosen Chen, Han Yang, Yuexin Yang, Yuegen Liu, Wei Wang, Xuming Wen, Chaoping Xie
• Abstract要約: ビデオスタイルの転送は、時間的一貫性を維持しつつ、スタイルイメージに類似したフォトリアリスティックなスタイルで生成することが望まれる。 既存の方法はフレーム単位のフォトリアリスティックなスタイル転送を行うことで、非効率で、タイマライズされたビデオの時間的一貫性が保証されない、スタイリングされたビデオシーケンスを得る。 まず、大規模なデータセット上でスタイリングされた3D LUTを生成するニューラルネットワークをトレーニングし、次に、特定のビデオに対してフォトリアリスティックなスタイル転送を行う際に、ビデオ内のビデオとスタイルイメージをデータソースとして選択し、ニューラルネットワークを微調整する。 最後に、ファインによって生成される3D LUTを問い合わせる。
• 参考スコア（独自算出の注目度）: 5.442253227842167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video photorealistic style transfer is desired to generate videos with a similar photorealistic style to the style image while maintaining temporal consistency. However, existing methods obtain stylized video sequences by performing frame-by-frame photorealistic style transfer, which is inefficient and does not ensure the temporal consistency of the stylized video. To address this issue, we use neural network-based 3D Lookup Tables (LUTs) for the photorealistic transfer of videos, achieving a balance between efficiency and effectiveness. We first train a neural network for generating photorealistic stylized 3D LUTs on a large-scale dataset; then, when performing photorealistic style transfer for a specific video, we select a keyframe and style image in the video as the data source and fine-turn the neural network; finally, we query the 3D LUTs generated by the fine-tuned neural network for the colors in the video, resulting in a super-fast photorealistic style transfer, even processing 8K video takes less than 2 millisecond per frame. The experimental results show that our method not only realizes the photorealistic style transfer of arbitrary style images but also outperforms the existing methods in terms of visual quality and consistency. Project page:https://semchan.github.io/NLUT_Project.
• Abstract（参考訳）: ビデオフォトリアリスティックなスタイル転送は、時間的一貫性を維持しつつ、スタイル画像に類似したフォトリアリスティックなスタイルの動画を生成することが望まれる。 しかし,既存の手法ではフレーム単位のフォトリアリスティックなスタイル転送を行うことで,スタイリングされた映像の時間的一貫性を確保できない。 この問題に対処するために,我々は,映像のフォトリアリスティックな転送にluts(neural network-based 3d lookup tables)を使用し,効率と効率のバランスを実現している。 We first train a neural network for generating photorealistic stylized 3D LUTs on a large-scale dataset; then, when performing photorealistic style transfer for a specific video, we select a keyframe and style image in the video as the data source and fine-turn the neural network; finally, we query the 3D LUTs generated by the fine-tuned neural network for the colors in the video, resulting in a super-fast photorealistic style transfer, even processing 8K video takes less than 2 millisecond per frame. 実験の結果,任意のスタイル画像の光写実的スタイル転送を実現するだけでなく,視覚的品質や一貫性の観点からも既存手法よりも優れていた。 プロジェクトページ:https://semchan.github.io/NLUT_Project

関連論文リスト

• Dynamic Neural Portraits [58.480811535222834]
  フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。 本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。 実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
  論文  参考訳（メタデータ） (2022-11-25T10:06:14Z)
• MagicVideo: Efficient Video Generation With Latent Diffusion Models [76.95903791630624]
  テキストの説明が与えられたら、MagicVideoはテキストの内容に高い関連性を持つ写真リアルなビデオクリップを生成することができる。 提案された効率的な3D U-Net設計により、MagicVideoは単一のGPUカード上で256x256の空間解像度でビデオクリップを生成することができる。
  論文  参考訳（メタデータ） (2022-11-20T16:40:31Z)
• UPST-NeRF: Universal Photorealistic Style Transfer of Neural Radiance Fields for 3D Scene [2.1033122829097484]
  3Dシーンのフォトリアリスティックなスタイリゼーションは、与えられたスタイルの画像に従って任意の新しいビューからフォトリアリスティックな画像を生成することを目的としている。 ニューラルラディアンスフィールドを持つ既存のスタイリング手法は、スタイリングされたシーンを効果的に予測することができる。 本稿では,これらの問題に対処する新しい3Dシーン光写実的スタイル転送フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-15T08:17:35Z)
• Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
  本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。 提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-06-27T06:48:15Z)
• Copy Motion From One to Another: Fake Motion Video Generation [53.676020148034034]
  人工知能の魅力的な応用は、任意の所望の動作を行う対象者のビデオを生成することである。 現在の手法では、通常、生成されたビデオの信頼性を評価するために、L2損失のGANを用いる。 本稿では,ポーズから前景画像へのマッピングの学習を容易にする理論的動機付け型Gromov-Wasserstein損失を提案する。 本手法は,人物の複雑な動きを忠実にコピーすることで,現実的な人物映像を生成できる。
  論文  参考訳（メタデータ） (2022-05-03T08:45:22Z)
• StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
  屋内シーンのメッシュ再構成にスタイル転送を適用する。 これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:59Z)
• Robust Pose Transfer with Dynamic Details using Neural Video Rendering [45.6834250950187]
  画像翻訳に基づくダイナミックディテール生成ネットワーク(D2G-Net)を組み合わせたニューラルビデオレンダリングフレームワークを提案する。 具体的には、テクスチャ表現を新たに提示し、静的およびポーズ変化の外観特性の両方を符号化する。 我々のニューラルヒューマンビデオは、2kから4kのフレームしか持たない短いビデオでも、より明確なダイナミックディテールとより堅牢なパフォーマンスを達成することができることを実証しています。
  論文  参考訳（メタデータ） (2021-06-27T03:40:22Z)
• Real-time Localized Photorealistic Video Style Transfer [25.91181753178577]
  本稿では,対象映像の局所領域に意味論的に意味のある局所領域の芸術的スタイルを移すための新しいアルゴリズムを提案する。 近年のフォトリアリスティックなスタイル転送に触発されたディープニューラルネットワークアーキテクチャをベースとした本手法は,リアルタイムであり,任意の入力に作用する。 本手法は,複数のオブジェクトに異なるスタイルを同時に転送する機能を含む,様々なスタイルの画像やターゲットビデオに対して実証する。
  論文  参考訳（メタデータ） (2020-10-20T06:21:09Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer [18.455002563426262]
  フォトリアリスティックなスタイル転送は、画像の芸術的スタイルをコンテンツターゲットに転送し、カメラで撮影可能な結果を生成するタスクである。 ディープニューラルネットワークに基づく最近のアプローチでは、印象的な結果が得られるが、現実的な解像度での実行には遅すぎるか、好ましくないアーティファクトがまだ含まれている。 高速かつ本質的にフォトリアリスティックな結果を生成するフォトリアリスティックなスタイル転送のための新しいエンド・ツー・エンドモデルを提案する。
  論文  参考訳（メタデータ） (2020-04-23T03:31:24Z)
• Neural Human Video Rendering by Learning Dynamic Textures and Rendering-to-Video Translation [99.64565200170897]
  本研究では,2次元スクリーン空間に人体を埋め込むことで,時間的コヒーレントな微細な細部を学習することで,人間の映像合成手法を提案する。 我々は,人間の再現やモノクロ映像からの新たなビュー合成などのアプローチの適用例を示し,質的にも定量的にも,芸術の状態を著しく改善した。
  論文  参考訳（メタデータ） (2020-01-14T18:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。