論文の概要: Generative Pre-trained Autoregressive Diffusion Transformer

• arxiv url: http://arxiv.org/abs/2505.07344v3
• Date: Mon, 19 May 2025 03:07:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 12:45:56.121482
• Title: Generative Pre-trained Autoregressive Diffusion Transformer
• Title（参考訳）: 自励式自己回帰拡散変圧器の試作
• Authors: Yuan Zhang, Jiacheng Jiang, Guoqing Ma, Zhiying Lu, Haoyang Huang, Jianlong Yuan, Nan Duan,
• Abstract要約: GPDiT(GPDiT)は、自動回帰拡散変換器である。 長距離ビデオ合成における拡散と自己回帰モデリングの強みを統一する。 拡散損失を用いて将来の潜伏フレームを自動回帰予測し、運動力学の自然なモデリングを可能にする。
• 参考スコア（独自算出の注目度）: 54.476056835275415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present GPDiT, a Generative Pre-trained Autoregressive Diffusion Transformer that unifies the strengths of diffusion and autoregressive modeling for long-range video synthesis, within a continuous latent space. Instead of predicting discrete tokens, GPDiT autoregressively predicts future latent frames using a diffusion loss, enabling natural modeling of motion dynamics and semantic consistency across frames. This continuous autoregressive framework not only enhances generation quality but also endows the model with representation capabilities. Additionally, we introduce a lightweight causal attention variant and a parameter-free rotation-based time-conditioning mechanism, improving both the training and inference efficiency. Extensive experiments demonstrate that GPDiT achieves strong performance in video generation quality, video representation ability, and few-shot learning tasks, highlighting its potential as an effective framework for video modeling in continuous space.
• Abstract（参考訳）: 本研究では,連続潜時空間内での長距離ビデオ合成における拡散と自己回帰モデリングの強みを統一する,生成前訓練型自己回帰拡散変換器GPDiTを提案する。 GPDiTは離散トークンを予測する代わりに、拡散損失を用いて将来の潜伏フレームを自動回帰予測し、フレーム間の運動力学とセマンティック一貫性の自然なモデリングを可能にする。 この継続的自己回帰フレームワークは、生成品質を向上するだけでなく、モデルに表現能力を与える。 さらに、軽量な因果注意変種とパラメータフリー回転に基づく時間条件機構を導入し、トレーニングと推論の効率を改善した。 GPDiTは、連続空間における映像モデリングの効果的なフレームワークとしての可能性を強調し、映像生成品質、映像表現能力、および少数ショット学習タスクにおいて、高い性能を発揮することを示した。

関連論文リスト

• TIDE : Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation [34.73820805875123]
  TIDE (Temporal-aware Sparse Autoencoders for Interpretable Diffusion transformErs) は,DiTアクティベーション層内の時間的再構築を段階的に促進する新しいフレームワークである。 TIDEはスパースオートエンコーダ(SAE)とスパースボトルネック層を使用して、解釈可能かつ階層的な特徴を抽出する。 提案手法は,1e-3の平均2乗誤差(MSE)とコサイン類似度(0.97。
  論文  参考訳（メタデータ） (2025-03-10T08:35:51Z)
• Dynamical Diffusion: Learning Temporal Dynamics with Diffusion Models [71.63194926457119]
  動的拡散(DyDiff, Dynamical Diffusion)は, 時間的に意識された前と逆のプロセスを含む理論的に健全なフレームワークである。 科学的時間的予測、ビデオ予測、時系列予測に関する実験は、動的拡散が時間的予測タスクのパフォーマンスを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2025-03-02T16:10:32Z)
• Autoregressive Video Generation without Vector Quantization [90.87907377618747]
  本研究では,時間フレーム毎の予測の非量子化自己回帰モデルとしてビデオ生成問題を再構成する。 提案手法では,ベクトル量子化のない新しい自己回帰モデルであるNOVAを訓練する。 以上の結果から,NOVAはデータ効率,推論速度,視覚的忠実度,映像流速において,従来の自己回帰ビデオモデルよりもはるかに小さいモデルキャパシティを有することがわかった。
  論文  参考訳（メタデータ） (2024-12-18T18:59:53Z)
• ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
  ACDiTはブロックワイド条件拡散変換器である。 トークン単位の自己回帰とフルシーケンス拡散のフレキシブルな関係を提供する。 本稿では,映像生成タスクにおける自己回帰ベースラインの中で,ACDiTが最良であることを示す。
  論文  参考訳（メタデータ） (2024-12-10T18:13:20Z)
• Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution [65.91317390645163]
  Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。 ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。 また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
  論文  参考訳（メタデータ） (2023-12-11T18:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。