論文の概要: APLA: Additional Perturbation for Latent Noise with Adversarial Training Enables Consistency

• arxiv url: http://arxiv.org/abs/2308.12605v2
• Date: Thu, 2 May 2024 01:07:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 22:30:00.632229
• Title: APLA: Additional Perturbation for Latent Noise with Adversarial Training Enables Consistency
• Title（参考訳）: APLA: 対向訓練を可能とした遅延雑音に対する追加摂動
• Authors: Yupu Yao, Shangqi Deng, Zihan Cao, Harry Zhang, Liang-Jian Deng,
• Abstract要約: 拡散モデルに基づく新しいテキスト・ツー・ビデオ(T2V)生成ネットワーク構造を提案する。 提案手法では,1本の動画を入力として必要とせず,事前学習した安定拡散ネットワーク上に構築する。 我々は、変換器と畳み込みのハイブリッドアーキテクチャを活用して、時間的複雑さを補償し、ビデオ内の異なるフレーム間の一貫性を向上させる。
• 参考スコア（独自算出の注目度）: 9.07931905323022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have exhibited promising progress in video generation. However, they often struggle to retain consistent details within local regions across frames. One underlying cause is that traditional diffusion models approximate Gaussian noise distribution by utilizing predictive noise, without fully accounting for the impact of inherent information within the input itself. Additionally, these models emphasize the distinction between predictions and references, neglecting information intrinsic to the videos. To address this limitation, inspired by the self-attention mechanism, we propose a novel text-to-video (T2V) generation network structure based on diffusion models, dubbed Additional Perturbation for Latent noise with Adversarial training (APLA). Our approach only necessitates a single video as input and builds upon pre-trained stable diffusion networks. Notably, we introduce an additional compact network, known as the Video Generation Transformer (VGT). This auxiliary component is designed to extract perturbations from the inherent information contained within the input, thereby refining inconsistent pixels during temporal predictions. We leverage a hybrid architecture of transformers and convolutions to compensate for temporal intricacies, enhancing consistency between different frames within the video. Experiments demonstrate a noticeable improvement in the consistency of the generated videos both qualitatively and quantitatively.
• Abstract（参考訳）: 拡散モデルはビデオ生成において有望な進歩を見せている。 しかし、フレーム間の局所領域内では、一貫性のある詳細を維持するのに苦労することが多い。 1つの根本的な原因は、従来の拡散モデルが入力自体の固有情報の影響を完全に考慮せずに予測ノイズを利用してガウス雑音分布を近似することである。 さらに、これらのモデルは、ビデオに固有の情報を無視して、予測と参照の区別を強調する。 自己注意機構に着想を得たこの制限に対処するため,拡散モデルに基づく新たなテキスト・ツー・ビデオ(T2V)生成ネットワーク構造を提案する。 提案手法では,1本の動画を入力として必要とせず,事前学習した安定拡散ネットワーク上に構築する。 特に,ビデオ生成変換器(VGT)と呼ばれる小型ネットワークを導入する。 この補助成分は、入力に含まれる固有情報から摂動を抽出し、時間的予測中に不整合画素を精製するように設計されている。 我々は、変換器と畳み込みのハイブリッドアーキテクチャを活用して、時間的複雑さを補償し、ビデオ内の異なるフレーム間の一貫性を向上させる。 実験では、生成したビデオの質的かつ定量的な一貫性が顕著に向上したことを示した。

関連論文リスト

• Edge-preserving noise for diffusion models [4.435514696080208]
  本稿では,拡散確率モデル(DDPM)を一般化した新しいエッジ保存拡散モデルを提案する。 特に、エッジ保存と等方性ガウスノイズの間で異なるエッジ対応ノイズスケジューラを導入する。 モデルの生成過程はより高速に収束し, 対象の分布とより密に一致していることを示す。
  論文  参考訳（メタデータ） (2024-10-02T13:29:52Z)
• Live2Diff: Live Stream Translation via Uni-directional Attention in Video Diffusion Models [64.2445487645478]
  大規模言語モデルは、テキストやオーディオなどのストリーミングデータの生成において顕著な効果を示している。 本稿では,一方向の時間的注意を向けたビデオ拡散モデルを設計するための最初の試みであるLive2Diffを紹介する。
  論文  参考訳（メタデータ） (2024-07-11T17:34:51Z)
• Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
  ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
  論文  参考訳（メタデータ） (2024-03-18T17:59:58Z)
• Training-Free Semantic Video Composition via Pre-trained Diffusion Model [96.0168609879295]
  現在のアプローチは、主に前景の色と照明を調整したビデオで訓練されており、表面的な調整以上の深い意味の相違に対処するのに苦労している。 本研究では,事前知識を付加した事前学習拡散モデルを用いた学習自由パイプラインを提案する。 実験の結果,我々のパイプラインは出力の視覚的調和とフレーム間のコヒーレンスを確実にすることがわかった。
  論文  参考訳（メタデータ） (2024-01-17T13:07:22Z)
• FreeInit: Bridging Initialization Gap in Video Diffusion Models [42.38240625514987]
  FreeInitは、トレーニングと推論のギャップを補うことができ、それによって、生成結果の主観的外観と時間的一貫性を効果的に改善することができる。 実験により、FreeInitはトレーニングや微調整を伴わずに、様々なテキスト・ビデオ拡散モデルの生成品質を一貫して向上させることが示された。
  論文  参考訳（メタデータ） (2023-12-12T18:59:16Z)
• Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution [65.91317390645163]
  Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。 ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。 また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
  論文  参考訳（メタデータ） (2023-12-11T18:54:52Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)
• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation [88.49030739715701]
  本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。 様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。