論文の概要: StyleCrafter: Enhancing Stylized Text-to-Video Generation with Style Adapter

• arxiv url: http://arxiv.org/abs/2312.00330v2
• Date: Thu, 12 Sep 2024 06:50:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 22:22:54.183414
• Title: StyleCrafter: Enhancing Stylized Text-to-Video Generation with Style Adapter
• Title（参考訳）: StyleCrafter:スタイルアダプタによるスタイリズされたテキスト・ビデオ生成の強化
• Authors: Gongye Liu, Menghan Xia, Yong Zhang, Haoxin Chen, Jinbo Xing, Yibo Wang, Xintao Wang, Yujiu Yang, Ying Shan,
• Abstract要約: StyleCrafterは、トレーニング済みのT2Vモデルをスタイルコントロールアダプタで拡張する汎用的な方法である。 コンテンツスタイルのゆがみを促進するため,テキストプロンプトからスタイル記述を取り除き,参照画像のみからスタイル情報を抽出する。 StyleCrafterは、テキストの内容と一致し、参照画像のスタイルに似た高品質なスタイリングビデオを効率よく生成する。
• 参考スコア（独自算出の注目度）: 78.75422651890776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-video (T2V) models have shown remarkable capabilities in generating diverse videos. However, they struggle to produce user-desired stylized videos due to (i) text's inherent clumsiness in expressing specific styles and (ii) the generally degraded style fidelity. To address these challenges, we introduce StyleCrafter, a generic method that enhances pre-trained T2V models with a style control adapter, enabling video generation in any style by providing a reference image. Considering the scarcity of stylized video datasets, we propose to first train a style control adapter using style-rich image datasets, then transfer the learned stylization ability to video generation through a tailor-made finetuning paradigm. To promote content-style disentanglement, we remove style descriptions from the text prompt and extract style information solely from the reference image using a decoupling learning strategy. Additionally, we design a scale-adaptive fusion module to balance the influences of text-based content features and image-based style features, which helps generalization across various text and style combinations. StyleCrafter efficiently generates high-quality stylized videos that align with the content of the texts and resemble the style of the reference images. Experiments demonstrate that our approach is more flexible and efficient than existing competitors.
• Abstract（参考訳）: テキスト・ツー・ビデオ(T2V)モデルは、多様なビデオを生成する際、顕著な能力を示している。 しかし、ユーザーを欲しがるスタイルの動画を作るのに苦労している。 一 特定の様式をあらわすことにおける本文固有の不器用さ (二)全般的に劣化した様式の忠実さ。 これらの課題に対処するために、スタイル制御アダプタを用いて事前訓練されたT2Vモデルを強化する汎用的な方法であるStyleCrafterを導入し、参照画像を提供することで、任意のスタイルのビデオ生成を可能にする。 スタイリングされたビデオデータセットの不足を考慮すると、まずスタイルリッチな画像データセットを用いてスタイル制御アダプタを訓練し、学習したスタイリング能力をテーラーメイドのファインタニングパラダイムを通じてビデオ生成に転送することを提案する。 コンテンツスタイルのゆがみを促進するため,テキストプロンプトからスタイル記述を取り除き,デカップリング学習戦略を用いて参照画像のみからスタイル情報を抽出する。 さらに、テキストベースのコンテンツ機能と画像ベースのスタイル機能の影響のバランスをとるために、スケール適応型融合モジュールを設計し、様々なテキストとスタイルの組み合わせを一般化するのに役立つ。 StyleCrafterは、テキストの内容と一致し、参照画像のスタイルに似た高品質なスタイリングビデオを効率よく生成する。 実験によると、我々のアプローチは既存の競合相手よりも柔軟で効率的である。

関連論文リスト

• StyleMaster: Towards Flexible Stylized Image Generation with Diffusion Models [42.45078883553856]
  Stylized Text-to-Image Generation (STIG)は、テキストプロンプトとスタイル参照画像に基づいて画像を生成することを目的としている。 本稿では,事前学習した安定拡散を利用して,StyleMasterと呼ばれる新しいフレームワークを提案する。 2つの目的関数を導入し、モデルを最適化し、損失を減らし、セマンティクスとスタイルの一貫性をさらに強化する。
  論文  参考訳（メタデータ） (2024-05-24T07:19:40Z)
• Rethink Arbitrary Style Transfer with Transformer and Contrastive Learning [11.900404048019594]
  本稿では,スタイリング画像の品質向上のための革新的手法を提案する。 まず、コンテンツとスタイルの特徴の整合性を改善する手法であるスタイル一貫性インスタンス正規化(SCIN)を提案する。 さらに,様々なスタイル間の関係を理解するために,インスタンスベースのコントラスト学習(ICL)アプローチを開発した。
  論文  参考訳（メタデータ） (2024-04-21T08:52:22Z)
• Style Aligned Image Generation via Shared Attention [61.121465570763085]
  本稿では,一連の生成画像間のスタイルアライメントを確立する技術であるStyleAlignedを紹介する。 拡散過程において、最小限の注意共有を生かして、T2Iモデル内の画像間のスタイル整合性を維持する。 本手法は,多種多様なスタイルやテキストのプロンプトにまたがって評価を行い,高品質で忠実であることを示す。
  論文  参考訳（メタデータ） (2023-12-04T18:55:35Z)
• In-Style: Bridging Text and Uncurated Videos with Style Transfer for Text-Video Retrieval [72.98185525653504]
  トレーニング中は、テキストクエリと未処理のWebビデオのみを併用する、未修正データによる新しい設定、テキストビデオ検索を提案する。 一般化を改善するために、複数のテキストスタイルで1つのモデルを訓練できることを示す。 提案手法の利点を実証するため,複数のデータセットを対象とした検索性能のモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-09-16T08:48:21Z)
• StyleAdapter: A Unified Stylized Image Generation Model [97.24936247688824]
  StyleAdapterは、様々なスタイリング画像を生成することができる統一型スタイリング画像生成モデルである。 T2I-adapter や ControlNet のような既存の制御可能な合成手法と統合することができる。
  論文  参考訳（メタデータ） (2023-09-04T19:16:46Z)
• Visual Captioning at Will: Describing Images and Videos Guided by a Few Stylized Sentences [49.66987347397398]
  Few-Shot Stylized Visual Captioningは,任意のスタイルでキャプションを生成することを目的としている。 本稿では,条件付きエンコーダ-デコーダ言語モデルとビジュアルプロジェクションモジュールを用いたFS-StyleCapというフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-31T04:26:01Z)
• DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization [66.42741426640633]
  DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。 本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
  論文  参考訳（メタデータ） (2022-11-19T12:30:44Z)
• Arbitrary Style Guidance for Enhanced Diffusion-Based Text-to-Image Generation [13.894251782142584]
  GLIDE や DALLE-2 のような拡散ベースのテキスト・画像生成モデルは近年広く成功している。 本稿では,参照画像でガイドされた任意のスタイルを用いた画像生成を支援する新しいスタイルガイダンス手法を提案する。
  論文  参考訳（メタデータ） (2022-11-14T20:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。