論文の概要: Pixel-space video generation with U-JiT

• arxiv url: http://arxiv.org/abs/2611.04764v1
• Date: Tue, 03 Nov 2026 12:11:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:51:48.67596
• Title: Pixel-space video generation with U-JiT
• Title（参考訳）: U-JiTを用いた画素空間ビデオ生成
• Abstract要約: 画素空間における生成ビデオモデルの生存可能性について検討する。 トレーニングレシピとサンプリング戦略の改善とともに,UNetライクなトランスフォーマーアーキテクチャを提案する。 128解像度の標準フレーム対ビデオタスクでは、U-JiTモデルによる生成FVDの27%向上が期待できる。
• 参考スコア（独自算出の注目度）: 56.12853087022071
• License:
• Abstract: Latent diffusion and flow matching models are ubiquitous in state-of-the-art generative video models. While highly effective, relying on pretrained autoencoders to compress the data into a lower-dimensional latent space also comes with drawbacks. First, training proceeds in two stages: autoencoder pretraining, with compression and reconstruction objectives, followed by latent generative model training, precluding fully end-to-end training. Second, autoencoders also lead to an inherent loss of signal, and the trade-off between reconstruction quality and generative performance in the latent space is still an active area of research. In this paper we explore the viability of generative video models directly in pixel space. We analyze recent approaches in pixel-space generative modeling of images that rely on basic transformer designs, and identify several shortcomings that limit their effectiveness for the high-dimensional pixel-space video generation. To overcome these limitations, we propose a UNet-like transformer architecture along with improvements to the training recipe and sampling strategy. We conduct controlled experiments, training latent and pixel-space models from scratch on Kinetics-600. For the standard frames-to-video task at 128 resolution, our U-JiT model improves generative FVD by 27% over prior state-of-the-art results, and by 14% against the JiT pixel-space baseline. Scaling to higher 256 resolution, we find the improvement over pixel-space and latent-based models grows as we increase the spatiotemporal compression rate up to $64 \times 64 \times 8$. Finally, we find that U-JiT improves per-frame FID by 27% over latent models and 61% over pixel-space models on class-to-video generation, with respectively 9% and 56% reduction in FVD.
• Abstract（参考訳）: 遅延拡散およびフローマッチングモデルは、最先端の生成ビデオモデルにおいてユビキタスである。 非常に効果的であるが、データを低次元の潜在空間に圧縮するために事前訓練されたオートエンコーダに頼ることにも欠点がある。 まず、オートエンコーダの事前訓練、圧縮と再構成の目的、そして、完全なエンドツーエンドのトレーニングを終了する遅延生成モデルトレーニングの2段階でトレーニングが進められる。 第2に、オートエンコーダは信号の本来の損失を招き、再生品質と潜伏空間における生成性能のトレードオフは依然として研究の活発な領域である。 本稿では,画素空間内における生成的ビデオモデルの実現可能性について検討する。 基本変換器設計に依存する画像の画素空間生成モデルにおける最近のアプローチを解析し、高次元の画素空間ビデオ生成の有効性を制限するいくつかの欠点を同定する。 これらの制限を克服するために、トレーニングレシピとサンプリング戦略の改善とともに、UNetライクなトランスフォーマーアーキテクチャを提案する。 我々はキネティクス600で制御実験を行い、ラテントとピクセル空間のモデルをスクラッチから訓練する。 128解像度の標準フレーム・ツー・ビデオ・タスクでは、我々のU-JiTモデルは、先行技術よりも27%、JITピクセル・スペースベースラインに対して14%、生成FVDを改善する。 256倍の解像度にスケールすると,時空間圧縮速度を64進数64進数64進数8$に向上するにつれて,ピクセル空間モデルや潜時モデルよりも向上することがわかった。 最後に、U-JiTはフレーム単位のFIDを27%改善し、クラス・ツー・ビデオ生成では61%改善し、FVDは9%、FVDは56%削減された。

関連論文リスト

• PixelDiT: Pixel Diffusion Transformers for Image Generation [48.456815413366535]
  PixelDiTはDiffusion Transformers用の単一ステージのエンドツーエンドモデルである。 オートエンコーダの必要性を排除し、ピクセル空間内で拡散過程を直接学習する。 ImageNet 256x256で1.61 FIDを達成し、既存のピクセル生成モデルを大きく上回っている。
  論文  参考訳（メタデータ） (2025-11-25T18:59:25Z)
• Advancing End-to-End Pixel Space Generative Modeling via Self-supervised Pre-training [23.632047555553324]
  画素空間拡散および一貫性モデルのための新しい2段階トレーニングフレームワークを提案する。 トレーニングフレームワークは、ImageNetデータセット上で強力な経験的パフォーマンスを示す。 我々の知る限りでは、高解像度画像上での一貫性モデルのトレーニングを成功させたのはこれが初めてである。
  論文  参考訳（メタデータ） (2025-10-14T14:41:16Z)
• Reconstruction vs. Generation: Taming Optimization Dilemma in Latent Diffusion Models [33.519892081718716]
  本稿では,視覚トークン化器のトレーニングにおいて,潜在空間と事前学習された視覚基盤モデルとの整合性を提案する。 提案するVA-VAEは遅延拡散モデルの再構成世代フロンティアを著しく拡張する。 私たちは、LightningDiTと呼ばれるトレーニング戦略とアーキテクチャ設計を改善した拡張DiTベースラインを構築します。
  論文  参考訳（メタデータ） (2025-01-02T18:59:40Z)
• VISION-XL: High Definition Video Inverse Problem Solver using Latent Image Diffusion Models [58.464465016269614]
  本稿では,遅延画像拡散モデルを用いた高精細ビデオ逆問題の解法を提案する。 提案手法は,NVIDIA 4090 GPUの1フレームあたり6秒未満でHD解像度の再構成を実現する。
  論文  参考訳（メタデータ） (2024-11-29T08:10:49Z)
• Video Probabilistic Diffusion Models in Projected Latent Space [75.4253202574722]
  我々は、PVDM(Latent Video diffusion model)と呼ばれる新しいビデオ生成モデルを提案する。 PVDMは低次元の潜伏空間で映像配信を学習し、限られた資源で高解像度映像を効率的に訓練することができる。
  論文  参考訳（メタデータ） (2023-02-15T14:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。