論文の概要: NLUT: Neural-based 3D Lookup Tables for Video Photorealistic Style Transfer

• arxiv url: http://arxiv.org/abs/2303.09170v2
• Date: Fri, 17 Mar 2023 05:10:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-20 11:06:04.724993
• Title: NLUT: Neural-based 3D Lookup Tables for Video Photorealistic Style Transfer
• Title（参考訳）: nlut: ビデオフォトリアリスティックなスタイル転送のためのニューラルベースの3dルックアップテーブル
• Authors: Yaosen Chen, Han Yang, Yuexin Yang, Yuegen Liu, Wei Wang, Xuming Wen, Chaoping Xie
• Abstract要約: ビデオスタイルの転送は、時間的一貫性を維持しつつ、スタイルイメージに類似したフォトリアリスティックなスタイルで生成することが望まれる。 既存の方法はフレーム単位のフォトリアリスティックなスタイル転送を行うことで、非効率で、タイマライズされたビデオの時間的一貫性が保証されない、スタイリングされたビデオシーケンスを得る。 まず、大規模なデータセット上でスタイリングされた3D LUTを生成するニューラルネットワークをトレーニングし、次に、特定のビデオに対してフォトリアリスティックなスタイル転送を行う際に、ビデオ内のビデオとスタイルイメージをデータソースとして選択し、ニューラルネットワークを微調整する。 最後に、ファインによって生成される3D LUTを問い合わせる。
• 参考スコア（独自算出の注目度）: 5.442253227842167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video photorealistic style transfer is desired to generate videos with a similar photorealistic style to the style image while maintaining temporal consistency. However, existing methods obtain stylized video sequences by performing frame-by-frame photorealistic style transfer, which is inefficient and does not ensure the temporal consistency of the stylized video. To address this issue, we use neural network-based 3D Lookup Tables (LUTs) for the photorealistic transfer of videos, achieving a balance between efficiency and effectiveness. We first train a neural network for generating photorealistic stylized 3D LUTs on a large-scale dataset; then, when performing photorealistic style transfer for a specific video, we select a keyframe and style image in the video as the data source and fine-turn the neural network; finally, we query the 3D LUTs generated by the fine-tuned neural network for the colors in the video, resulting in a super-fast photorealistic style transfer, even processing 8K video takes less than 2 millisecond per frame. The experimental results show that our method not only realizes the photorealistic style transfer of arbitrary style images but also outperforms the existing methods in terms of visual quality and consistency. Project page:https://semchan.github.io/NLUT_Project.
• Abstract（参考訳）: ビデオフォトリアリスティックなスタイル転送は、時間的一貫性を維持しつつ、スタイル画像に類似したフォトリアリスティックなスタイルの動画を生成することが望まれる。 しかし,既存の手法ではフレーム単位のフォトリアリスティックなスタイル転送を行うことで,スタイリングされた映像の時間的一貫性を確保できない。 この問題に対処するために,我々は,映像のフォトリアリスティックな転送にluts(neural network-based 3d lookup tables)を使用し,効率と効率のバランスを実現している。 We first train a neural network for generating photorealistic stylized 3D LUTs on a large-scale dataset; then, when performing photorealistic style transfer for a specific video, we select a keyframe and style image in the video as the data source and fine-turn the neural network; finally, we query the 3D LUTs generated by the fine-tuned neural network for the colors in the video, resulting in a super-fast photorealistic style transfer, even processing 8K video takes less than 2 millisecond per frame. 実験の結果,任意のスタイル画像の光写実的スタイル転送を実現するだけでなく,視覚的品質や一貫性の観点からも既存手法よりも優れていた。 プロジェクトページ:https://semchan.github.io/NLUT_Project

関連論文リスト

• Tex4D: Zero-shot 4D Scene Texturing with Video Diffusion Models [54.35214051961381]
  3Dメッシュはコンピュータビジョンとグラフィックスにおいて、アニメーションの効率と映画、ゲーム、AR、VRにおける最小限のメモリ使用のために広く利用されている。 しかし、メッシュのための時間的一貫性と現実的なテクスチャを作成することは、プロのアーティストにとって労働集約的だ。 本稿では、メッシュ配列から固有の幾何学とビデオ拡散モデルを統合することで、一貫したテクスチャを生成する3Dテクスチャシーケンスを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:59Z)
• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting [141.05924680451804]
  StyleGaussianは、新しい3Dスタイル転送技術である。 任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
  論文  参考訳（メタデータ） (2024-03-12T16:44:52Z)
• WAIT: Feature Warping for Animation to Illustration video Translation using GANs [12.681919619814419]
  ビデオのスタイリングにおいて,未順序画像の集合を用いる場合の新たな問題を提案する。 映像から映像への翻訳のほとんどは、画像から画像への翻訳モデルに基づいて構築されている。 本稿では,従来の手法の限界を克服する特徴変形層を有する新しいジェネレータネットワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T19:45:24Z)
• NILUT: Conditional Neural Implicit 3D Lookup Tables for Image Enhancement [82.75363196702381]
  3次元ルックアップテーブル(3D LUT)は、画像強調のための重要なコンポーネントである。 3D LUTを学習し、適用するための現在のアプローチは、明らかに高速だが、メモリ効率はそれほど高くない。 ニューラルネットワークによってパラメータ化される暗黙的に定義された連続3次元色変換であるニューラルインプリシット LUT (NILUT) を提案する。
  論文  参考訳（メタデータ） (2023-06-20T22:06:39Z)
• UPST-NeRF: Universal Photorealistic Style Transfer of Neural Radiance Fields for 3D Scene [2.1033122829097484]
  3Dシーンのフォトリアリスティックなスタイリゼーションは、与えられたスタイルの画像に従って任意の新しいビューからフォトリアリスティックな画像を生成することを目的としている。 ニューラルラディアンスフィールドを持つ既存のスタイリング手法は、スタイリングされたシーンを効果的に予測することができる。 本稿では,これらの問題に対処する新しい3Dシーン光写実的スタイル転送フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-15T08:17:35Z)
• Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
  本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。 提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-06-27T06:48:15Z)
• Robust Pose Transfer with Dynamic Details using Neural Video Rendering [48.48929344349387]
  画像翻訳に基づくダイナミックディテール生成ネットワーク(D2G-Net)を組み合わせたニューラルビデオレンダリングフレームワークを提案する。 具体的には、テクスチャ表現を新たに提示し、静的およびポーズ変化の外観特性の両方を符号化する。 我々のニューラルヒューマンビデオは、2kから4kのフレームしか持たない短いビデオでも、より明確なダイナミックディテールとより堅牢なパフォーマンスを達成することができることを実証しています。
  論文  参考訳（メタデータ） (2021-06-27T03:40:22Z)
• Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer [18.455002563426262]
  フォトリアリスティックなスタイル転送は、画像の芸術的スタイルをコンテンツターゲットに転送し、カメラで撮影可能な結果を生成するタスクである。 ディープニューラルネットワークに基づく最近のアプローチでは、印象的な結果が得られるが、現実的な解像度での実行には遅すぎるか、好ましくないアーティファクトがまだ含まれている。 高速かつ本質的にフォトリアリスティックな結果を生成するフォトリアリスティックなスタイル転送のための新しいエンド・ツー・エンドモデルを提案する。
  論文  参考訳（メタデータ） (2020-04-23T03:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。