論文の概要: Style-A-Video: Agile Diffusion for Arbitrary Text-based Video Style Transfer

• arxiv url: http://arxiv.org/abs/2305.05464v1
• Date: Tue, 9 May 2023 14:03:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 19:33:40.637455
• Title: Style-A-Video: Agile Diffusion for Arbitrary Text-based Video Style Transfer
• Title（参考訳）: Style-A-Video: 任意テキストベースのビデオスタイル転送のためのアジャイル拡散
• Authors: Nisha Huang, Yuxin Zhang, Weiming Dong
• Abstract要約: 本稿では,Style-A-Video というゼロショットビデオスタイリング手法を提案する。 画像遅延拡散モデルを用いた生成事前学習型トランスフォーマーを用いて、簡潔なテキスト制御ビデオスタイリングを実現する。 テストの結果,従来のソリューションよりも少ない使用量で,優れたコンテンツ保存とスタイリスティックな性能が得られることがわかった。
• 参考スコア（独自算出の注目度）: 13.098901971644656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale text-to-video diffusion models have demonstrated an exceptional ability to synthesize diverse videos. However, due to the lack of extensive text-to-video datasets and the necessary computational resources for training, directly applying these models for video stylization remains difficult. Also, given that the noise addition process on the input content is random and destructive, fulfilling the style transfer task's content preservation criteria is challenging. This paper proposes a zero-shot video stylization method named Style-A-Video, which utilizes a generative pre-trained transformer with an image latent diffusion model to achieve a concise text-controlled video stylization. We improve the guidance condition in the denoising process, establishing a balance between artistic expression and structure preservation. Furthermore, to decrease inter-frame flicker and avoid the formation of additional artifacts, we employ a sampling optimization and a temporal consistency module. Extensive experiments show that we can attain superior content preservation and stylistic performance while incurring less consumption than previous solutions. Code will be available at https://github.com/haha-lisa/Style-A-Video.
• Abstract（参考訳）: 大規模テキスト・ビデオ拡散モデルでは、多様な動画を合成する異常な能力を示した。 しかし,テキスト・ビデオ・データセットが不足し,トレーニングに必要な計算資源が不足しているため,これらのモデルをビデオスタイリゼーションに直接適用することは依然として困難である。 また、入力内容に対するノイズ付加処理がランダムで破壊的であるため、スタイル転送タスクのコンテンツ保存基準を満たすことは困難である。 本稿では,画像遅延拡散モデルを用いた生成事前学習型トランスフォーマーを用いて,テキスト制御による簡潔なビデオスタイリングを実現する,Style-A-Videoというゼロショットビデオスタイリング手法を提案する。 我々は,装飾過程における指導条件を改善し,芸術的表現と構造保存のバランスを確立する。 さらに,フレーム間フレッカを低減し,付加的なアーティファクトの形成を回避するため,サンプリング最適化と時間整合モジュールを用いる。 広範な実験により,従来のソリューションよりも少ない消費を伴いながら,優れたコンテンツ保存とスタイリスティックな性能を実現することができた。 コードはhttps://github.com/haha-lisa/Style-A-Videoで入手できる。

関連論文リスト

• I4VGen: Image as Free Stepping Stone for Text-to-Video Generation [28.910648256877113]
  I4VGenは、事前訓練されたテキスト-ビデオ拡散モデルを強化するための新しいビデオ拡散推論パイプラインである。 I4VGenはアンカー画像合成とアンカー画像拡張テキスト・ビデオ合成の2段階からなる。 実験の結果,提案手法は高次視覚リアリズムとテキスト忠実度データセットを用いたビデオを生成することがわかった。
  論文  参考訳（メタデータ） (2024-06-04T11:48:44Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• RAVE: Randomized Noise Shuffling for Fast and Consistent Video Editing with Diffusion Models [19.792535444735957]
  RAVEは、事前訓練されたテキスト-画像拡散モデルを活用するゼロショットビデオ編集法である。 オリジナルモーションとセマンティックな構造を保ちながら高品質なビデオを生成する。 RAVEは、局所的な属性修正から形状変換まで、幅広い編集が可能である。
  論文  参考訳（メタデータ） (2023-12-07T18:43:45Z)
• MEVG: Multi-event Video Generation with Text-to-Video Models [18.06640097064693]
  本稿では,ユーザから複数の個々の文が与えられた複数のイベントを示すビデオを生成する,拡散に基づく新しいビデオ生成手法を提案する。 本手法は, 微調整処理を伴わずに, 事前学習したテキスト・ビデオ生成モデルを使用するため, 大規模なビデオデータセットを必要としない。 提案手法は,コンテンツとセマンティクスの時間的コヒーレンシーの観点から,他のビデオ生成モデルよりも優れている。
  論文  参考訳（メタデータ） (2023-12-07T06:53:25Z)
• DreamVideo: High-Fidelity Image-to-Video Generation with Image Retention and Text Guidance [69.0740091741732]
  本研究では,DreamVideo という名前の事前学習ビデオ拡散モデルに基づくフレーム保持分岐を考案し,高忠実度映像生成手法を提案する。 我々のモデルには強力な画像保持能力があり、我々の知る限り、他の画像-映像モデルと比較して、UCF101で最高の結果をもたらす。
  論文  参考訳（メタデータ） (2023-12-05T03:16:31Z)
• WAIT: Feature Warping for Animation to Illustration video Translation using GANs [12.681919619814419]
  ビデオのスタイリングにおいて,未順序画像の集合を用いる場合の新たな問題を提案する。 映像から映像への翻訳のほとんどは、画像から画像への翻訳モデルに基づいて構築されている。 本稿では,従来の手法の限界を克服する特徴変形層を有する新しいジェネレータネットワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T19:45:24Z)
• In-Style: Bridging Text and Uncurated Videos with Style Transfer for Text-Video Retrieval [72.98185525653504]
  トレーニング中は、テキストクエリと未処理のWebビデオのみを併用する、未修正データによる新しい設定、テキストビデオ検索を提案する。 一般化を改善するために、複数のテキストスタイルで1つのモデルを訓練できることを示す。 提案手法の利点を実証するため,複数のデータセットを対象とした検索性能のモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-09-16T08:48:21Z)
• VideoGen: A Reference-Guided Latent Diffusion Approach for High Definition Text-to-Video Generation [73.54366331493007]
  VideoGenはテキスト・ツー・ビデオ生成方式であり、フレームの忠実度が高く、時間的一貫性の強い高精細なビデオを生成することができる。 我々は,テキストプロンプトから高品質な画像を生成するために,既製のテキスト画像生成モデル,例えば,安定拡散(Stable Diffusion)を利用する。
  論文  参考訳（メタデータ） (2023-09-01T11:14:43Z)
• TokenFlow: Consistent Diffusion Features for Consistent Video Editing [27.736354114287725]
  本稿では,テキスト駆動ビデオ編集作業において,テキスト間拡散モデルのパワーを利用するフレームワークを提案する。 提案手法は,入力ビデオの空間的レイアウトと動きを保ちながら,ターゲットテキストに付着した高品質な映像を生成する。 我々のフレームワークは、トレーニングや微調整を一切必要とせず、市販のテキスト・ツー・イメージ編集手法と連携して動作する。
  論文  参考訳（メタデータ） (2023-07-19T18:00:03Z)
• InstructVid2Vid: Controllable Video Editing with Natural Language Instructions [97.17047888215284]
  InstructVid2Vidは、人間の言語命令でガイドされたビデオ編集のためのエンドツーエンドの拡散ベースの方法論である。 我々のアプローチは、自然言語ディレクティブによって案内される映像操作を強化し、サンプルごとの微調整や逆変換の必要性を排除します。
  論文  参考訳（メタデータ） (2023-05-21T03:28:13Z)
• Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators [70.17041424896507]
  最近のテキスト・ビデオ生成アプローチは、計算的に重いトレーニングに依存し、大規模なビデオデータセットを必要とする。 既存のテキスト・画像合成手法を用いたゼロショットテキスト・ビデオ生成の課題を提案する。 本手法は,ビデオデータ追加の訓練を受けていないにも関わらず,近年の手法よりも多種多種多種多種多種多種多種多種多種多様である。
  論文  参考訳（メタデータ） (2023-03-23T17:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。