論文の概要: Next Block Prediction: Video Generation via Semi-Auto-Regressive Modeling

• arxiv url: http://arxiv.org/abs/2502.07737v1
• Date: Tue, 11 Feb 2025 17:57:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:46.989304
• Title: Next Block Prediction: Video Generation via Semi-Auto-Regressive Modeling
• Title（参考訳）: 次のブロック予測:半自動回帰モデリングによる映像生成
• Authors: Shuhuai Ren, Shuming Ma, Xu Sun, Furu Wei,
• Abstract要約: Next-Block Prediction (NBP) は、ビデオ生成のための半自己回帰(セミAR)フレームワークである。 NBPは各ブロック内で双方向の注意を払っており、トークンはより堅牢な空間依存をキャプチャすることができる。 本モデルでは,UCF101では103.3点,K600では25.5点,バニラNTPモデルでは4.4点,FVDスコアは25.5点であった。
• 参考スコア（独自算出の注目度）: 92.60177942930946
• License:
• Abstract: Next-Token Prediction (NTP) is a de facto approach for autoregressive (AR) video generation, but it suffers from suboptimal unidirectional dependencies and slow inference speed. In this work, we propose a semi-autoregressive (semi-AR) framework, called Next-Block Prediction (NBP), for video generation. By uniformly decomposing video content into equal-sized blocks (e.g., rows or frames), we shift the generation unit from individual tokens to blocks, allowing each token in the current block to simultaneously predict the corresponding token in the next block. Unlike traditional AR modeling, our framework employs bidirectional attention within each block, enabling tokens to capture more robust spatial dependencies. By predicting multiple tokens in parallel, NBP models significantly reduce the number of generation steps, leading to faster and more efficient inference. Our model achieves FVD scores of 103.3 on UCF101 and 25.5 on K600, outperforming the vanilla NTP model by an average of 4.4. Furthermore, thanks to the reduced number of inference steps, the NBP model generates 8.89 frames (128x128 resolution) per second, achieving an 11x speedup. We also explored model scales ranging from 700M to 3B parameters, observing significant improvements in generation quality, with FVD scores dropping from 103.3 to 55.3 on UCF101 and from 25.5 to 19.5 on K600, demonstrating the scalability of our approach.
• Abstract（参考訳）: Next-Token Prediction (NTP) は、自動回帰(AR)ビデオ生成のデファクトアプローチであるが、最適一方向の依存関係と遅い推論速度に悩まされている。 本研究では,Next-Block Prediction (NBP) と呼ばれる半自己回帰型(セミAR) フレームワークをビデオ生成のために提案する。 映像コンテンツを等サイズのブロック(例えば行やフレーム)に均一に分解することで、生成ユニットを個々のトークンからブロックにシフトし、現在のブロックの各トークンが次のブロックで対応するトークンを同時に予測できるようにする。 従来のARモデリングとは異なり、我々のフレームワークはブロックごとに双方向の注意を払っており、トークンがより堅牢な空間的依存関係をキャプチャすることができる。 複数のトークンを並列に予測することで、NAPモデルは生成ステップの数を著しく削減し、高速で効率的な推論をもたらす。 本モデルでは,UCF101では103.3点,K600では25.5点,バニラNTPモデルでは4.4点,FVDスコアは25.5点であった。 さらに、推論ステップの削減により、NAPモデルは毎秒8.89フレーム(128x128解像度)を生成し、11倍のスピードアップを達成する。 また,700Mから3Bパラメータのモデルスケールについても検討し,FVDスコアがUCF101で103.3から55.3に低下し,K600で25.5から19.5に低下した。

関連論文リスト

• HART: Efficient Visual Generation with Hybrid Autoregressive Transformer [33.97880303341509]
  本稿では,1024×1024画像を直接生成可能な自己回帰型(AR)視覚生成モデルであるHybrid Autoregressive Transformer(HART)を紹介する。 提案手法はMJHQ-30Kで2.11から0.30に改良され,7.85から5.38までの31%のFID改善を実現した。 HARTはまた、FIDとCLIPスコアの両方において、4.5-7.7倍高いスループットと6.9-13.4倍低いMACで最先端の拡散モデルより優れている。
  論文  参考訳（メタデータ） (2024-10-14T17:59:42Z)
• ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler [53.98558445900626]
  現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。 我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。 提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
  論文  参考訳（メタデータ） (2024-10-08T03:01:54Z)
• Realizing Unaligned Block-wise Pruning for DNN Acceleration on Mobile Devices [1.6114012813668932]
  ブロックワイドプルーニングは、スピードアップゲインに対する低い精度のドロップトレードオフのため、有望である。 Unaligned block pruning (UBP) は、任意の位置にブロックを選択できるようにすることによってこの問題に対処する。 ブロック拡張と分割という,擬似最適かつ高速なブロック選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-29T01:59:06Z)
• Hierarchical Patch Diffusion Models for High-Resolution Video Generation [50.42746357450949]
  我々は,階層的な方法で,コンテキスト情報を低スケールから高スケールのパッチに伝播する深層文脈融合を開発する。 また,ネットワーク容量の増大と,粗い画像の細部への演算を行う適応計算を提案する。 得られたモデルは、クラス条件のビデオ生成において66.32の最先端FVDスコアと87.68のインセプションスコアを新たに設定する。
  論文  参考訳（メタデータ） (2024-06-12T01:12:53Z)
• RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [93.18404922542702]
  本稿では,長期的空間的および時間的依存関係に対処する新しいビデオ生成モデルを提案する。 提案手法は,3次元認識型生成フレームワークにインスパイアされた,明示的で単純化された3次元平面のハイブリッド表現を取り入れたものである。 我々のモデルは高精細度ビデオクリップを解像度256時間256$ピクセルで合成し、フレームレート30fpsで5ドル以上まで持続する。
  論文  参考訳（メタデータ） (2024-01-11T16:48:44Z)
• Generating Videos with Dynamics-aware Implicit Generative Adversarial Networks [68.93429034530077]
  ビデオ生成のための動的認識型暗黙的生成対向ネットワーク(DIGAN)を提案する。 従来の48フレームよりも80フレーム長の解像度128×128の128フレームビデオで,DIGANをトレーニングできることが示されている。
  論文  参考訳（メタデータ） (2022-02-21T23:24:01Z)
• YOLO-ReT: Towards High Accuracy Real-time Object Detection on Edge GPUs [14.85882314822983]
  ディープニューラルネットワーク(DNN)ベースのオブジェクト検出モデルをエッジデバイスにマップするには、通常、そのようなモデルを著しく圧縮する必要がある。 本稿では,マルチスケール機能インタラクションのためのエッジGPUフレンドリなモジュールを提案する。 また,様々なタスク間の翻訳情報の流れの変化にインスパイアされた,新たな学習バックボーンの導入を提案する。
  論文  参考訳（メタデータ） (2021-10-26T14:02:59Z)
• Gradient Forward-Propagation for Large-Scale Temporal Video Modelling [13.665160620951777]
  バックプロパゲーションは前方と後方のパスが完了するまで計算をブロックする。 時間信号の場合、これはレイテンシが高く、リアルタイム学習を妨げる。 本稿では,Sideways上に構築し,時間内に近似勾配を伝搬することでブロッキングを回避する。 計算を分離し、個々のニューラルネットワークモジュールを異なるデバイスに委譲する方法を示し、分散および並列トレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-06-15T17:50:22Z)
• Learning for Video Compression with Recurrent Auto-Encoder and Recurrent Probability Model [164.7489982837475]
  本稿では、リカレントオートエンコーダ(RAE)とリカレント確率モデル(RPM)を用いたリカレントラーニングビデオ圧縮(RLVC)手法を提案する。 RAEは、ビデオフレーム間の時間的相関を利用するために、エンコーダとデコーダの両方で繰り返しセルを使用する。 提案手法は,PSNRとMS-SSIMの両方の観点から,最先端の学習ビデオ圧縮性能を実現する。
  論文  参考訳（メタデータ） (2020-06-24T08:46:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。