論文の概要: Identity-Preserving Text-to-Video Generation by Frequency Decomposition

• arxiv url: http://arxiv.org/abs/2411.17440v1
• Date: Tue, 26 Nov 2024 13:58:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:31:16.693873
• Title: Identity-Preserving Text-to-Video Generation by Frequency Decomposition
• Title（参考訳）: 周波数分解による身元保存型テキスト・ビデオ生成
• Authors: Shenghai Yuan, Jinfa Huang, Xianyi He, Yunyuan Ge, Yujun Shi, Liuhan Chen, Jiebo Luo, Li Yuan,
• Abstract要約: アイデンティティ保存型テキスト・ツー・ビデオ(IPT2V)生成は、一貫した人間のアイデンティティを持つ高忠実度ビデオを作成することを目的としている。 本稿では,PT2Vの技術フロンティアを,文献で未解決の2つの方向に推し進める。 本研究では,DiTをベースとした制御可能なPT2VモデルであるConsisIDを提案する。
• 参考スコア（独自算出の注目度）: 52.19475797580653
• License:
• Abstract: Identity-preserving text-to-video (IPT2V) generation aims to create high-fidelity videos with consistent human identity. It is an important task in video generation but remains an open problem for generative models. This paper pushes the technical frontier of IPT2V in two directions that have not been resolved in literature: (1) A tuning-free pipeline without tedious case-by-case finetuning, and (2) A frequency-aware heuristic identity-preserving DiT-based control scheme. We propose ConsisID, a tuning-free DiT-based controllable IPT2V model to keep human identity consistent in the generated video. Inspired by prior findings in frequency analysis of diffusion transformers, it employs identity-control signals in the frequency domain, where facial features can be decomposed into low-frequency global features and high-frequency intrinsic features. First, from a low-frequency perspective, we introduce a global facial extractor, which encodes reference images and facial key points into a latent space, generating features enriched with low-frequency information. These features are then integrated into shallow layers of the network to alleviate training challenges associated with DiT. Second, from a high-frequency perspective, we design a local facial extractor to capture high-frequency details and inject them into transformer blocks, enhancing the model's ability to preserve fine-grained features. We propose a hierarchical training strategy to leverage frequency information for identity preservation, transforming a vanilla pre-trained video generation model into an IPT2V model. Extensive experiments demonstrate that our frequency-aware heuristic scheme provides an optimal control solution for DiT-based models. Thanks to this scheme, our ConsisID generates high-quality, identity-preserving videos, making strides towards more effective IPT2V.
• Abstract（参考訳）: アイデンティティ保存型テキスト・ツー・ビデオ(IPT2V)生成は、一貫した人間のアイデンティティを持つ高忠実度ビデオを作成することを目的としている。 これはビデオ生成において重要なタスクであるが、生成モデルには未解決の問題である。 本稿は,(1) 面倒なケース・バイ・ケース・ファインタニングを伴わないチューニング不要パイプライン,(2) 周波数対応ヒューリスティックなID保存型DiT制御方式の2つの方法で,PT2Vの技術フロンティアを推し進める。 本研究では,DiTをベースとした制御可能なPT2VモデルであるConsisIDを提案する。 拡散変圧器の周波数解析における先行的な発見にインスパイアされ、周波数領域のアイデンティティ制御信号を使用し、顔の特徴を低周波のグローバル特徴と高周波の固有特徴に分解することができる。 まず、低周波の観点から、参照画像と顔のキーポイントを潜在空間に符号化し、低周波情報に富んだ特徴を生成するグローバルな顔抽出装置を導入する。 これらの機能は、DiTに関連するトレーニングの課題を軽減するために、ネットワークの浅いレイヤに統合される。 第二に、高周波の観点から、我々は局所的な顔抽出器を設計し、高周波の詳細を捉え、それらを変圧器ブロックに注入し、きめ細かい特徴を保存できる能力を高める。 本稿では,バニラ事前学習ビデオ生成モデルをIPT2Vモデルに変換することによって,周波数情報を利用した階層的学習手法を提案する。 広汎な実験により、我々の周波数対応ヒューリスティックスキームは、DiTモデルに対して最適な制御ソリューションを提供することが示された。 このスキームのおかげで、ConsisIDは高品質なアイデンティティ保存ビデオを生成し、より効果的なPT2Vに向けて前進する。

関連論文リスト

• PersonalVideo: High ID-Fidelity Video Customization without Dynamic and Semantic Degradation [36.21554597804604]
  カスタマイズされたID画像を持つアイデンティティ固有のヒューマンビデオ生成はまだ未調査である。 我々は、T2Vモデルにより合成されたビデオを直接監視する、textbfPersonalVideoと呼ばれる新しいフレームワークを提案する。 本手法は,従来のT2Vモデルに固有の映像生成特性を保ちながら,高いアイデンティティ忠実度を実現する上での優位性であり,従来手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-26T02:25:38Z)
• T2V-Turbo-v2: Enhancing Video Generation Model Post-Training through Data, Reward, and Conditional Guidance Design [79.7289790249621]
  提案手法であるT2V-Turbo-v2は、様々な監視信号を統合することにより、大幅な進歩をもたらす。 特定の学習目標に対するデータセットの調整の重要性を強調した。 トレーニングデータセットから動作ガイダンスを抽出し,ODEソルバに組み込むことにより,このアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2024-10-08T04:30:06Z)
• Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
  ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
  論文  参考訳（メタデータ） (2024-03-18T17:59:58Z)
• Denoising Vision Transformers [43.03068202384091]
  本稿では、DVT(Denoising Vision Transformers)と呼ばれる2段階のDenoisingアプローチを提案する。 第1段階では、画像ごとのニューラルネットワークとの横断的な特徴整合を強制することにより、位置的アーティファクトによって汚染されたものからクリーンな特徴を分離する。 第2段階では、クリーンな特徴を生のViT出力から予測するために軽量なトランスフォーマーブロックを訓練し、クリーンな特徴の導出推定を監督として活用する。
  論文  参考訳（メタデータ） (2024-01-05T18:59:52Z)
• I2V-Adapter: A General Image-to-Video Adapter for Diffusion Models [80.32562822058924]
  テキスト誘導画像合成(I2V)は、入力画像の同一性を保持するコヒーレントなビデオを生成することを目的としている。 I2V-Adapterは、クロスフレームアテンション機構を介して、未通知の入力画像を後続のノイズフレームに適応的に伝搬する。 実験の結果,I2V-Adapterは高品質な動画を制作できることがわかった。
  論文  参考訳（メタデータ） (2023-12-27T19:11:50Z)
• Generative AI Beyond LLMs: System Implications of Multi-Modal Generation [12.827526286642282]
  本稿では,マルチモーダルテキスト・ツー・イメージ(TTI)とテキスト・ツー・ビデオ(TTV)生成モデルに対する新しいシステム設計空間の理解に向けた最初の研究について述べる。 8種類のTTI/TTVモデルの系統的性能評価は,Flash Attentionのような最先端の最適化手法を適用した後,DiffusionベースのTTIモデルの実行時間の最大44%をコンボリューションが占めていることを示している。 また、DiffusionベースのTTIモデルは、LLM推論のPrefillステージに似ており、Flashの1.1-2.5倍の高速化の恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-22T02:21:26Z)
• DiffiT: Diffusion Vision Transformers for Image Generation [88.08529836125399]
  ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。 拡散型生成学習におけるViTの有効性について検討し、拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。 DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。
  論文  参考訳（メタデータ） (2023-12-04T18:57:01Z)
• Laplacian-Former: Overcoming the Limitations of Vision Transformers in Local Texture Detection [3.784298636620067]
  Vision Transformer (ViT) モデルは、幅広いコンピュータビジョンタスクにおいてブレークスルーを実証している。 これらのモデルは、画像の高周波成分を捉えるのに苦労しており、局所的なテクスチャやエッジ情報を検出する能力を制限することができる。 本稿では,ラプラシアンピラミッド内の周波数情報を適応的に補正することで自己注意マップを向上する新しい手法であるラプラシアン・フォーマーを提案する。
  論文  参考訳（メタデータ） (2023-08-31T19:56:14Z)
• Coarse-to-Fine Video Denoising with Dual-Stage Spatial-Channel Transformer [29.03463312813923]
  Video Denoisingは、ノイズの多いビデオから高品質なフレームを復元することを目的としている。 既存のほとんどのアプローチでは、畳み込みニューラルネットワーク(CNN)を使用して、ノイズを元の視覚コンテンツから分離する。 粗大な映像をデノナイズするためのDual-stage Spatial-Channel Transformer (DSCT)を提案する。
  論文  参考訳（メタデータ） (2022-04-30T09:01:21Z)
• Improved Transformer for High-Resolution GANs [69.42469272015481]
  この課題に対処するために、Transformerに2つの重要な要素を紹介します。 実験で提案したHiTは、条件のないImageNetの31.87と2.95のFIDスコアをそれぞれ128×128$とFFHQの256×256$で達成していることを示す。
  論文  参考訳（メタデータ） (2021-06-14T17:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。