論文の概要: Back to Pixels: Lifting Latent Video Diffusion into Pixel Space
- arxiv url: http://arxiv.org/abs/2611.17336v1
- Date: Thu, 12 Nov 2026 18:59:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.605136
- Title: Back to Pixels: Lifting Latent Video Diffusion into Pixel Space
- Title(参考訳): バック・トゥ・ピクチャーズ:Pixel空間に潜入したビデオ拡散をリフティングする
- Abstract要約: 本稿では,ピクセル空間内のすべてのフレームを直接生成するPixVidを提案する。
ベロシティよりもクリーンなビデオの予測が、大きなノイズシフトとともに、品質の鍵であることに気付きました。
- 参考スコア(独自算出の注目度): 35.25889371726217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Frontier video generation models work in a VAE latent space that compresses video in both space and time. This compression made training tractable, but now limits high-resolution, controllable, and interactive generation -- doubling resolution quadruples token count, conditions apply to groups of frames rather than individual ones, and each response must wait for the rest of its multi-frame block. We present PixVid, a simple yet effective method that lifts a pretrained latent video model to directly generate every frame in pixel space. PixVid keeps the diffusion transformer and replaces the VAE decoder with a convolutional head that renders its outputs into pixels. We find that predicting clean video rather than velocity, together with a larger noise shift, is key to quality. Finetuned from Wan2.1-14B, PixVid is competitive with the latent baseline within $\sim 1.3$M training clips. Working framewise in pixels, it generates at $2\times$ higher resolution with the same per-frame token count, keeps depth-conditioned video editing aligned under fast motion, and responds to each action at the next frame. Project page: https://chenshuo20.github.io/PixVid/
- Abstract(参考訳): フロンティアビデオ生成モデルは、VAEラテント空間で動作し、空間と時間の両方でビデオを圧縮する。
この圧縮により、トレーニングはトラクタブルになったが、高解像度、制御可能、インタラクティブな生成が制限された - 解像度の4倍のトークン数、個々のフレームではなくフレームのグループに適用される条件、各レスポンスは、そのマルチフレームブロックの残りを待たなければならない。
PixVidは、トレーニング済みの遅延ビデオモデルを持ち上げて、ピクセル空間のすべてのフレームを直接生成する、シンプルで効果的な方法である。
PixVidは拡散変換器を保持し、VAEデコーダを畳み込みヘッドで置き換え、出力をピクセルにレンダリングする。
ベロシティよりもクリーンなビデオの予測が、大きなノイズシフトとともに、品質の鍵であることに気付きました。
PixVidはWan2.1-14Bから微調整され、$\sim 1.3$Mのトレーニングクリップの潜在ベースラインと競合する。
フレーム単位での作業は、フレーム単位のトークンカウントと同じ高解像度で2\times$で生成され、高速な動作の下で深度条件付きビデオ編集を維持し、次のフレームで各アクションに応答する。
プロジェクトページ: https://chenshuo20.github.io/PixVid/
関連論文リスト
- PixelPrune: Pixel-Level Adaptive Visual Token Reduction via Predictive Coding [10.881130305325767]
PixelPruneは、予測符号化ベースの圧縮を通じてピクセルレベルの冗長性を利用する。
ピクセルロスレス圧縮と制御された損失圧縮をサポートする。
実験の結果、PixelPruneは最大4.2$times$推論のスピードアップを提供しながら、競争力のあるタスクの精度を維持していることがわかった。
論文 参考訳(メタデータ) (2026-04-01T13:33:27Z) - ChopGrad: Pixel-Wise Losses for Latent Video Diffusion via Truncated Backpropagation [33.672422379245766]
本稿では,ChopGradについて紹介する。ChopGradはビデオ復号化のための切り離されたバックプロパゲーション方式で,グローバルな一貫性を維持しつつ,ローカルフレームウインドウへの勾配を制限している。
本稿では, この近似の理論的解析を行い, フレーム単位の損失で効率的な微調整を可能にすることを示す。
論文 参考訳(メタデータ) (2026-03-18T15:04:57Z) - CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer [51.805505207941934]
拡散トランスを用いた大規模テキスト・ビデオ生成モデルであるCogVideoXを提案する。
フレームレートは16fps、解像度は768×1360ピクセル。
論文 参考訳(メタデータ) (2024-08-12T11:47:11Z) - Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation [92.55296042611886]
リユースとディフューズ”と呼ばれるフレームワークを$textitVidRD$と名づけて提案する。
また、既存の複数のデータセットからの多様なコンテンツを含むビデオテキストデータを構成するための一連の戦略を提案する。
論文 参考訳(メタデータ) (2023-09-07T08:12:58Z) - Predictive Coding For Animation-Based Video Compression [13.161311799049978]
本稿では,画像アニメーションを予測器として用いる予測符号化手法を提案し,実際の対象フレームに対する残差を符号化する。
実験の結果,HEVCビデオ標準に比べて70%以上,VVCに比べて30%以上,有意な上昇を示した。
論文 参考訳(メタデータ) (2023-07-09T14:40:54Z) - ControlVideo: Training-free Controllable Text-to-Video Generation [117.06302461557044]
ControlVideoは、自然で効率的なテキスト・ビデオ生成を可能にするフレームワークである。
NVIDIA 2080Tiを使って、ショートビデオとロングビデオの両方を数分で生成する。
論文 参考訳(メタデータ) (2023-05-22T14:48:53Z) - Compressing Video Calls using Synthetic Talking Heads [43.71577046989023]
本稿では,ヘッドビデオ圧縮のためのエンドツーエンドシステムを提案する。
提案アルゴリズムは,他の音声ヘッドビデオがアニメーションによって生成される間,ピボットフレームを断続的に送信する。
我々は、最先端の顔再現ネットワークを用いて、非ピボットフレームのキーポイントを検出し、それを受信機に送信する。
論文 参考訳(メタデータ) (2022-10-07T16:52:40Z) - TTVFI: Learning Trajectory-Aware Transformer for Video Frame
Interpolation [50.49396123016185]
ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。
ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。
提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2022-07-19T03:37:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。