論文の概要: StyleMaster: Stylize Your Video with Artistic Generation and Translation

• arxiv url: http://arxiv.org/abs/2412.07744v1
• Date: Tue, 10 Dec 2024 18:44:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:48.605606
• Title: StyleMaster: Stylize Your Video with Artistic Generation and Translation
• Title（参考訳）: StyleMaster: アーティスティック・ジェネレーションと翻訳でビデオをスタイリングする
• Authors: Zixuan Ye, Huijuan Huang, Xintao Wang, Pengfei Wan, Di Zhang, Wenhan Luo,
• Abstract要約: スタイルコントロールはビデオ生成モデルで人気がある。 現在の方法は、しばしば所定のスタイルから遠く離れたビデオを生成し、コンテンツのリークを引き起こし、1つのビデオを所望のスタイルに転送するのに苦労する。 当社のアプローチであるStyleMasterは,スタイルの類似性と時間的コヒーレンスの両方において,大幅な改善を実現しています。
• 参考スコア（独自算出の注目度）: 43.808656030545556
• License:
• Abstract: Style control has been popular in video generation models. Existing methods often generate videos far from the given style, cause content leakage, and struggle to transfer one video to the desired style. Our first observation is that the style extraction stage matters, whereas existing methods emphasize global style but ignore local textures. In order to bring texture features while preventing content leakage, we filter content-related patches while retaining style ones based on prompt-patch similarity; for global style extraction, we generate a paired style dataset through model illusion to facilitate contrastive learning, which greatly enhances the absolute style consistency. Moreover, to fill in the image-to-video gap, we train a lightweight motion adapter on still videos, which implicitly enhances stylization extent, and enables our image-trained model to be seamlessly applied to videos. Benefited from these efforts, our approach, StyleMaster, not only achieves significant improvement in both style resemblance and temporal coherence, but also can easily generalize to video style transfer with a gray tile ControlNet. Extensive experiments and visualizations demonstrate that StyleMaster significantly outperforms competitors, effectively generating high-quality stylized videos that align with textual content and closely resemble the style of reference images. Our project page is at https://zixuan-ye.github.io/stylemaster
• Abstract（参考訳）: スタイルコントロールはビデオ生成モデルで人気がある。 既存の方法は、しばしば所定のスタイルから遠く離れたビデオを生成し、コンテンツのリークを引き起こし、1つのビデオを所望のスタイルに転送するのに苦労する。 最初の観察では,スタイル抽出の段階が重要であるのに対して,既存の手法はグローバルなスタイルを強調するが,局所的なテクスチャは無視する。 コンテントリークを防止しながらテクスチャ機能を実現するため,プロンプトパッチの類似性に基づいて,コンテンツ関連パッチをフィルタリングする。グローバルスタイル抽出では,モデルイリュージョンを通じてペアスタイルのデータセットを生成し,コントラスト学習を容易にし,絶対スタイルの一貫性を大幅に向上させる。 さらに、映像間ギャップを埋めるため、静止映像に軽量なモーションアダプタをトレーニングし、スタイリング範囲を暗黙的に拡張し、ビデオにシームレスに適用できるようにする。 これらの取り組みから得られたアプローチであるStyleMasterは、スタイルの類似性と時間的コヒーレンスの両方において大幅な改善を実現するだけでなく、グレータイルコントロールネットによるビデオスタイルの転送にも容易に対応できる。 大規模な実験と視覚化により、StyleMasterはライバルより大幅に優れており、テキストコンテンツと整合し、参照画像のスタイルによく似た高品質なスタイルの動画を効果的に生成している。 私たちのプロジェクトページはhttps://zixuan-ye.github.io/stylemasterです。

関連論文リスト

• StyleShot: A Snapshot on Any Style [20.41380860802149]
  テスト時間チューニングを伴わない汎用的なスタイル転送には,優れたスタイル表現が不可欠であることを示す。 スタイル認識型エンコーダと、StyleGalleryと呼ばれるよく編成されたスタイルデータセットを構築することで、これを実現する。 当社のアプローチであるStyleShotは,テストタイムチューニングを必要とせずに,さまざまなスタイルを模倣する上で,シンプルかつ効果的なものです。
  論文  参考訳（メタデータ） (2024-07-01T16:05:18Z)
• InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation [4.1177497612346]
  スタイル転送(Style Transfer)は、視覚的なスタイルを取り入れながら、オリジナルの本質を維持するイメージを作成するために設計された革新的なプロセスである。 InstantStyle-Plusは、ターゲットスタイルをシームレスに統合しながら、オリジナルコンテンツの整合性を優先するアプローチである。
  論文  参考訳（メタデータ） (2024-06-30T18:05:33Z)
• StyleCrafter: Enhancing Stylized Text-to-Video Generation with Style Adapter [78.75422651890776]
  StyleCrafterは、トレーニング済みのT2Vモデルをスタイルコントロールアダプタで拡張する汎用的な方法である。 コンテンツスタイルのゆがみを促進するため,テキストプロンプトからスタイル記述を取り除き,参照画像のみからスタイル情報を抽出する。 StyleCrafterは、テキストの内容と一致し、参照画像のスタイルに似た高品質なスタイリングビデオを効率よく生成する。
  論文  参考訳（メタデータ） (2023-12-01T03:53:21Z)
• StyleAdapter: A Unified Stylized Image Generation Model [97.24936247688824]
  StyleAdapterは、様々なスタイリング画像を生成することができる統一型スタイリング画像生成モデルである。 T2I-adapter や ControlNet のような既存の制御可能な合成手法と統合することができる。
  論文  参考訳（メタデータ） (2023-09-04T19:16:46Z)
• Visual Captioning at Will: Describing Images and Videos Guided by a Few Stylized Sentences [49.66987347397398]
  Few-Shot Stylized Visual Captioningは,任意のスタイルでキャプションを生成することを目的としている。 本稿では,条件付きエンコーダ-デコーダ言語モデルとビジュアルプロジェクションモジュールを用いたFS-StyleCapというフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-31T04:26:01Z)
• Style-A-Video: Agile Diffusion for Arbitrary Text-based Video Style Transfer [13.098901971644656]
  本稿では,Style-A-Video というゼロショットビデオスタイリング手法を提案する。 画像遅延拡散モデルを用いた生成事前学習型トランスフォーマーを用いて、簡潔なテキスト制御ビデオスタイリングを実現する。 テストの結果,従来のソリューションよりも少ない使用量で,優れたコンテンツ保存とスタイリスティックな性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-09T14:03:27Z)
• DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization [66.42741426640633]
  DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。 本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
  論文  参考訳（メタデータ） (2022-11-19T12:30:44Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。