論文の概要: Autoregressive Video Generation without Vector Quantization

• arxiv url: http://arxiv.org/abs/2412.14169v1
• Date: Wed, 18 Dec 2024 18:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:43.017988
• Title: Autoregressive Video Generation without Vector Quantization
• Title（参考訳）: ベクトル量子化のない自己回帰ビデオ生成
• Authors: Haoge Deng, Ting Pan, Haiwen Diao, Zhengxiong Luo, Yufeng Cui, Huchuan Lu, Shiguang Shan, Yonggang Qi, Xinlong Wang,
• Abstract要約: 本研究では,時間フレーム毎の予測の非量子化自己回帰モデルとしてビデオ生成問題を再構成する。 提案手法では,ベクトル量子化のない新しい自己回帰モデルであるNOVAを訓練する。 以上の結果から,NOVAはデータ効率,推論速度,視覚的忠実度,映像流速において,従来の自己回帰ビデオモデルよりもはるかに小さいモデルキャパシティを有することがわかった。
• 参考スコア（独自算出の注目度）: 90.87907377618747
• License:
• Abstract: This paper presents a novel approach that enables autoregressive video generation with high efficiency. We propose to reformulate the video generation problem as a non-quantized autoregressive modeling of temporal frame-by-frame prediction and spatial set-by-set prediction. Unlike raster-scan prediction in prior autoregressive models or joint distribution modeling of fixed-length tokens in diffusion models, our approach maintains the causal property of GPT-style models for flexible in-context capabilities, while leveraging bidirectional modeling within individual frames for efficiency. With the proposed approach, we train a novel video autoregressive model without vector quantization, termed NOVA. Our results demonstrate that NOVA surpasses prior autoregressive video models in data efficiency, inference speed, visual fidelity, and video fluency, even with a much smaller model capacity, i.e., 0.6B parameters. NOVA also outperforms state-of-the-art image diffusion models in text-to-image generation tasks, with a significantly lower training cost. Additionally, NOVA generalizes well across extended video durations and enables diverse zero-shot applications in one unified model. Code and models are publicly available at https://github.com/baaivision/NOVA.
• Abstract（参考訳）: 本稿では,高効率な自動回帰ビデオ生成を実現するための新しい手法を提案する。 本稿では,時間的フレーム・バイ・フレーム予測と空間的セット・バイ・セット予測の非定量的自己回帰モデルとして,映像生成問題を再構成することを提案する。 従来の自己回帰モデルにおけるラスタ・スキャン予測や拡散モデルにおける固定長トークンの共分散モデルとは異なり,本手法では,各フレーム内の双方向モデリングを効率よく活用しつつ,柔軟なインコンテキスト機能を実現するため,GPTスタイルモデルの因果性を維持している。 提案手法では,ベクトル量子化のない新しい自己回帰モデルであるNOVAを訓練する。 以上の結果から,NOVAはデータ効率,推論速度,視覚的忠実度,ビデオ流速において,従来の自己回帰ビデオモデルよりはるかに小さいモデル容量,すなわち0.6Bパラメータを超越していることが示された。 NOVAはまた、テキストから画像生成タスクにおける最先端の画像拡散モデルよりも優れており、トレーニングコストは大幅に低い。 さらに、NOVAは、拡張されたビデオ期間にわたってうまく一般化し、1つの統一モデルで多様なゼロショットアプリケーションを可能にする。 コードとモデルはhttps://github.com/baaivision/NOVA.comで公開されている。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective [52.778766190479374]
  遅延ベース画像生成モデルは、画像生成タスクにおいて顕著な成功を収めた。 同じ遅延空間を共有するにもかかわらず、自己回帰モデルは画像生成において LDM や MIM よりもかなり遅れている。 本稿では,画像生成モデルのための遅延空間を安定化する,単純だが効果的な離散画像トークン化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-16T12:13:17Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.06970466554273]
  本稿では,非自己回帰型マスク画像モデリング(MIM)をSDXLのような最先端拡散モデルに匹敵するレベルまで高めるMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いる。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Video Prediction by Efficient Transformers [14.685237010856953]
  本稿では,ビデオ予測のためのトランスフォーマーモデルについて紹介する。 実験により、提案したビデオ予測モデルは、より複雑な最先端の畳み込み-LSTMベースのモデルと競合することが示された。
  論文  参考訳（メタデータ） (2022-12-12T16:46:48Z)
• Efficient Video Prediction via Sparsely Conditioned Flow Matching [24.32740918613266]
  本稿では,遅延フローマッチングに基づく映像予測のための新しい生成モデルを提案する。 我々は、VidEo pRedictionのためのRandomフレーム条件付きフロー統合(Random frame conditioned flow Integration)または略してRIVER(Random frame conditioned flow Integration)と呼ぶ。
  論文  参考訳（メタデータ） (2022-11-26T14:18:50Z)
• HARP: Autoregressive Latent Video Prediction with High-Fidelity Image Generator [90.74663948713615]
  我々は,高忠実度未来のフレームを予測可能な自己回帰遅延映像予測モデルを訓練する。 既存のモデルに最小限の修正を加えて高解像度(256x256)ビデオを作成する。
  論文  参考訳（メタデータ） (2022-09-15T08:41:57Z)
• Global Context with Discrete Diffusion in Vector Quantised Modelling for Image Generation [19.156223720614186]
  ベクトル量子変分オートエンコーダと自己回帰モデルとを生成部として統合することにより、画像生成における高品質な結果が得られる。 本稿では,VQ-VAEからのコンテンツリッチな離散視覚コードブックの助けを借りて,この離散拡散モデルにより,グローバルな文脈で高忠実度画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2021-12-03T09:09:34Z)
• Insights from Generative Modeling for Neural Video Compression [31.59496634465347]
  本稿では,深部自己回帰・潜時可変モデリングのレンズを用いたニューラルビデオ符号化アルゴリズムを提案する。 本稿では,高解像度映像に対して最先端の映像圧縮性能を実現するアーキテクチャを提案する。 さらに、生成的モデリングの観点から、ニューラルビデオ符号化の分野を前進させることができることを示す。
  論文  参考訳（メタデータ） (2021-07-28T02:19:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。