論文の概要: JVT: Just Video Transformer makes pixel-space video diffusion simple
- arxiv url: http://arxiv.org/abs/2611.18549v1
- Date: Fri, 13 Nov 2026 18:55:25 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:30:14.75858
- Title: JVT: Just Video Transformer makes pixel-space video diffusion simple
- Title(参考訳): JVT:Just Video Transformerはピクセル空間の動画拡散をシンプルにする
- Abstract要約: JVT (Just Video Transformer) は、事前訓練されたオートエンコーダ、補助ディテール、カスケードステージ、U-Netスタイルのスキップ接続を使わずに、ピクセル空間の動画拡散のための大容量のDiTスタイルのトランスフォーマーである。
JVTは,クラス条件と非条件条件の両方において,遅延拡散ベースラインと競合する設計生成品質を実現する。
- 参考スコア(独自算出の注目度): 6.784047330709456
- License:
- Abstract: Direct diffusion modeling of high-dimensional raw video data is challenging, and existing pixel-space methods often rely on specialized architectures. We introduce JVT (Just Video Transformer), a simple large-patch DiT-style Transformer for pixel-space video diffusion, without a pretrained autoencoder, auxiliary detailers, cascaded stages, or U-Net-style skip connections. We systematically examine video patch embeddings, register tokens, and adaptive layer normalization to identify design choices that balance generation quality and computational efficiency. The resulting JVT design achieves generation quality competitive with latent diffusion baselines in both class-conditioned and unconditional settings. The pixel-space formulation of JVT also naturally supports joint generation of pixel-aligned modalities. We demonstrate this capability through camera-conditioned RGB-disparity generation, which improves camera following relative to RGB-only baselines and yields explicit scene geometry without an additional reconstruction model at inference. These results highlight the potential of simple DiT-style Transformers for pixel-space video diffusion, and we hope our findings offer useful insights and practical guidance for future research.
- Abstract(参考訳): 高次元生ビデオデータの直接拡散モデリングは困難であり、既存のピクセル空間法は特殊なアーキテクチャに依存することが多い。
本稿では,JVT (Just Video Transformer) を導入し,画素空間での動画拡散を実現するために,事前訓練されたオートエンコーダ,補助的なディファレンダ,ケースドステージ,U-Netスタイルのスキップ接続を不要とした。
ビデオパッチの埋め込み、レジスタトークン、適応層正規化を体系的に検討し、生成品質と計算効率のバランスをとる設計選択を同定する。
JVTの設計は、クラス条件と非条件条件の両方で遅延拡散ベースラインと競合する生成品質を実現する。
JVT の画素空間の定式化は、自然に画素アラインなモジュラリティの合同生成もサポートする。
カメラ条件付きRGB分散生成により,RGBのみのベースラインに対するカメラの追従性を向上し,推論時に追加の再構成モデルなしで明示的なシーン形状が得られることを示す。
これらの結果は,ピクセル空間ビデオ拡散のための単純なDiT型トランスフォーマーの可能性を浮き彫りにしており,今後の研究に有用な洞察と実践的なガイダンスを提供してくれることを願っている。
関連論文リスト
- Pixel-space video generation with U-JiT [56.12853087022071]
画素空間における生成ビデオモデルの生存可能性について検討する。
トレーニングレシピとサンプリング戦略の改善とともに,UNetライクなトランスフォーマーアーキテクチャを提案する。
128解像度の標準フレーム対ビデオタスクでは、U-JiTモデルによる生成FVDの27%向上が期待できる。
論文 参考訳(メタデータ) (2026-11-03T12:11:03Z) - World-consistent Video Diffusion with Explicit 3D Modeling [67.39618291644673]
World-Consistent Video Diffusion (WVD)は、XYZ画像を用いた明示的な3D監視を含む新しいフレームワークである。
我々は拡散変換器を訓練し、RGBとXYZフレームの結合分布を学習する。
WVDは、シングルイメージから3D生成、マルチビューステレオ、カメラ制御ビデオ生成といったタスクを統一する。
論文 参考訳(メタデータ) (2024-12-02T18:58:23Z) - TVG: A Training-free Transition Video Generation Method with Diffusion Models [12.037716102326993]
遷移ビデオはメディア制作において重要な役割を担い、視覚的物語の流れとコヒーレンスを高める。
拡散モデルに基づくビデオ生成の最近の進歩は、トランジションを作成する新しい可能性を提供するが、フレーム間の関係モデリングの貧弱や突然のコンテンツ変更といった課題に直面している。
本稿では,これらの制約に対処するビデオレベルの拡散モデルを用いて,新たなトレーニング不要な遷移ビデオ生成(TVG)手法を提案する。
論文 参考訳(メタデータ) (2024-08-24T00:33:14Z) - Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution [151.1255837803585]
ビデオ超解像のための空間適応と時間コヒーレンス(SATeCo)を追求する新しい手法を提案する。
SATeCoは低解像度ビデオから時空間ガイダンスを学習し、潜時空間高解像度ビデオデノイングとピクセル空間ビデオ再構成の両方を校正する。
REDS4データセットとVid4データセットを用いて行った実験は、我々のアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2024-03-25T17:59:26Z) - Self-Supervised Pre-Training for Table Structure Recognition Transformer [25.04573593082671]
テーブル構造認識変換器のための自己教師付き事前学習(SSP)手法を提案する。
線形射影変換器とハイブリッドCNN変換器のパフォーマンスギャップは、TSRモデルにおける視覚エンコーダのSSPにより緩和できる。
論文 参考訳(メタデータ) (2024-02-23T19:34:06Z) - Decouple Content and Motion for Conditional Image-to-Video Generation [6.634105805557556]
条件付きイメージ・トゥ・ビデオ(cI2V)生成は、条件、すなわち1つの画像とテキストから始まり、信じられる新しいビデオを作成することである。
従来のcI2V生成法は、従来のRGBピクセル空間において、動きの一貫性と視覚的連続性のモデリングに制限がある。
本稿では,対象のRGB画素を空間的内容と時間的動きの2つの異なる成分に分解する手法を提案する。
論文 参考訳(メタデータ) (2023-11-24T06:08:27Z) - Latent-Shift: Latent Diffusion with Temporal Shift for Efficient
Text-to-Video Generation [115.09597127418452]
Latent-Shiftは、事前訓練されたテキスト・ツー・イメージ生成モデルに基づく効率的なテキスト・ツー・ビデオ生成手法である。
Latent-Shiftは、より効率的でありながら、同等またはより良い結果が得られることを示す。
論文 参考訳(メタデータ) (2023-04-17T17:57:06Z) - VDTR: Video Deblurring with Transformer [24.20183395758706]
ビデオブレアリングは、挑戦的な時間的モデリングプロセスのため、未解決の問題である。
本稿では,トランスフォーマービデオの導出に適応する有効なトランスフォーマーモデルであるVDTRを提案する。
論文 参考訳(メタデータ) (2022-04-17T14:22:14Z) - VideoGPT: Video Generation using VQ-VAE and Transformers [75.20543171520565]
VideoGGは、自然ビデオへの可能性に基づく生成モデリングをスケールするための概念的にシンプルなアーキテクチャである。
VideoGはVQ-Eを用いて、3D畳み込みと軸自己アテンションを用いて、離散的潜伏表現を学習する。
我々のアーキテクチャは、b-101ロボットデータセット上でビデオ生成のための最先端ganモデルと競合するサンプルを生成することができる。
論文 参考訳(メタデータ) (2021-04-20T17:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。