論文の概要: MAGI-1: Autoregressive Video Generation at Scale
- arxiv url: http://arxiv.org/abs/2505.13211v1
- Date: Mon, 19 May 2025 14:58:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.678831
- Title: MAGI-1: Autoregressive Video Generation at Scale
- Title(参考訳): MAGI-1: 大規模自動回帰ビデオ生成
- Abstract要約: 我々は,映像チャンクの連続を自動回帰予測して映像を生成する世界モデルMAGI-1を提案する。
テキスト命令で条件付けられたI2V(Image-to-Video)タスクで高いパフォーマンスを実現する。
MAGI-1の最大の変種は、24億のパラメータで構成され、最大400万のトークンのコンテキスト長をサポートする。
- 参考スコア(独自算出の注目度): 30.70210883833553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present MAGI-1, a world model that generates videos by autoregressively predicting a sequence of video chunks, defined as fixed-length segments of consecutive frames. Trained to denoise per-chunk noise that increases monotonically over time, MAGI-1 enables causal temporal modeling and naturally supports streaming generation. It achieves strong performance on image-to-video (I2V) tasks conditioned on text instructions, providing high temporal consistency and scalability, which are made possible by several algorithmic innovations and a dedicated infrastructure stack. MAGI-1 facilitates controllable generation via chunk-wise prompting and supports real-time, memory-efficient deployment by maintaining constant peak inference cost, regardless of video length. The largest variant of MAGI-1 comprises 24 billion parameters and supports context lengths of up to 4 million tokens, demonstrating the scalability and robustness of our approach. The code and models are available at https://github.com/SandAI-org/MAGI-1 and https://github.com/SandAI-org/MagiAttention. The product can be accessed at https://sand.ai.
- Abstract(参考訳): 我々は,連続フレームの固定長セグメントとして定義されるビデオチャンク列を自動回帰予測して映像を生成する世界モデルMAGI-1を提案する。
MAGI-1は、時間とともに単調に増加するチャンク毎のノイズを識別するために訓練され、因果時間モデリングを可能にし、ストリーミング生成を自然にサポートする。
テキスト命令で条件付けられた画像対ビデオ(I2V)タスクに対して強力なパフォーマンスを実現し、アルゴリズムの革新と専用のインフラストラクチャスタックによって実現された、高時間一貫性とスケーラビリティを提供する。
MAGI-1は、チャンクワイズプロンプトによる制御可能な生成を容易にし、ビデオ長に関わらず一定のピーク推論コストを維持することにより、リアルタイム、メモリ効率のデプロイメントをサポートする。
MAGI-1の最大の変種は、24億のパラメータで構成され、最大400万のトークンのコンテキスト長をサポートし、我々のアプローチのスケーラビリティと堅牢性を示している。
コードとモデルはhttps://github.com/SandAI-org/MAGI-1とhttps://github.com/SandAI-org/MagiAttentionで入手できる。
この製品はhttps://sand.ai.comでアクセスできる。
関連論文リスト
- Bridging Modalities, Spanning Time: Structured Memory for Ultra-Long Agentic Video Reasoning [82.97398529552166]
MAGIC-Videoは、インターリーブされた物語チェーンを備えたマルチモーダルメモリグラフを中心に構築されたフレームワークである。
EgoLifeQA、Ego-R1、MM-Lifelongでは、MAGIC-Videoは一貫して、強力な汎用、長期ビデオ、エージェントベースラインを上回っている。
論文 参考訳(メタデータ) (2026-05-08T03:21:47Z) - ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding [12.236081012244533]
本研究では,大言語モデル(MLLM)による映像理解に焦点を当てた。
圧縮表現を直接操作して動画を処理するビデオMLLMであるReMoRaを提案する。
本稿では,ReMoRaの長期ビデオ理解ベンチマークを網羅した実験により,ReMoRaの有効性を実証する。
論文 参考訳(メタデータ) (2026-02-18T12:37:35Z) - MoGA: Mixture-of-Groups Attention for End-to-End Long Video Generation [33.66978702400867]
本稿では、軽量で学習可能なトークンルータを用いて、ブロックワイズを使わずにトークンを正確にマッチングする、効率的なスパースアテンションであるMixture-of-Groups Attention(MoGA)を提案する。
カーネルフリーの方法として、MoGAはFlashAttentionやシーケンス並列性など、現代の注目スタックとシームレスに統合される。
MoGAをベースとして,24fpsで480pの動画を1秒単位で生成し,コンテクスト長は約580kの高速長ビデオ生成モデルを構築した。
論文 参考訳(メタデータ) (2025-10-21T14:50:42Z) - DejaVid: Encoder-Agnostic Learned Temporal Matching for Video Classification [4.973664680272982]
DejaVidは、アーキテクチャの再トレーニングや変更を必要とせずに、モデルパフォーマンスを向上させるエンコーダに依存しない方法である。
この学習タスクのために,従来の時系列アライメントアルゴリズムにインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。
評価の結果,DejaVidは最先端の大規模エンコーダの性能を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2025-06-14T17:39:03Z) - Scaling Video-Language Models to 10K Frames via Hierarchical Differential Distillation [38.256412418893554]
混合精度で1時間ビデオを処理する階層型ビデオ言語モデルViLaMPを開発した。
ViLaMPは、4つのビデオ理解ベンチマーク、特に長めのコンテンツで優れたパフォーマンスを誇っている。
特にViLaMPは、単一のNVIDIA A100 GPU上で超長いビデオ(最大10Kフレーム)を処理できる。
論文 参考訳(メタデータ) (2025-04-03T09:55:09Z) - Token-Efficient Long Video Understanding for Multimodal LLMs [101.70681093383365]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳(メタデータ) (2025-03-06T06:17:38Z) - Magic 1-For-1: Generating One Minute Video Clips within One Minute [53.07214657235465]
メモリ消費と推論遅延を最適化した効率的なビデオ生成モデルMagic 1-For-1(Magic141)を提案する。
テスト時間スライディングウィンドウを適用することで、1分以内に1分間の動画を生成できるようになり、視覚的品質と動きのダイナミクスが大幅に向上した。
論文 参考訳(メタデータ) (2025-02-11T16:58:15Z) - Look Every Frame All at Once: Video-Ma$^2$mba for Efficient Long-form Video Understanding with Multi-Axis Gradient Checkpointing [52.050036778325094]
Video-Ma$2$mbaは、Mamba-2フレームワークにステートスペースモデル(SSM)を組み込んだ新しいアーキテクチャである。
本手法は,標準勾配チェックポイントに比べてメモリフットプリントを大幅に削減する。
時間的ダイナミクスの詳細なキャプチャーを維持することで、長いビデオ理解タスクにおける応答の精度と関連性を改善することができる。
論文 参考訳(メタデータ) (2024-11-29T04:12:13Z) - Snap Video: Scaled Spatiotemporal Transformers for Text-to-Video
Synthesis [69.83405335645305]
映像生成領域に画像モデルの進化をもたらすことによって、動きの忠実度、視覚的品質、スケーラビリティを損なうことが議論されている。
この作業では、これらの課題に体系的に対処するビデオファーストモデルであるSnap Videoを構築します。
画像生成の背後にあるワークホースであるU-Netは、ビデオ生成時に低スケールであり、計算オーバーヘッドがかなり必要であることを示す。
これにより、初めて数十億のパラメータを持つテキスト・ビデオモデルを効率的にトレーニングし、多数のベンチマークで最先端の結果に到達し、はるかに高い品質、時間的一貫性、動きの複雑さの動画を生成することができる。
論文 参考訳(メタデータ) (2024-02-22T18:55:08Z) - Masked Audio Generation using a Single Non-Autoregressive Transformer [90.11646612273965]
MAGNeTは、複数のオーディオトークンストリーム上で直接動作するマスク付き生成シーケンスモデリング手法である。
テキスト・トゥ・ミュージック・アンド・テキスト・トゥ・オーディオ・ジェネレーションのタスクにおけるMAGNeTの有効性を実証する。
我々は、自己回帰と非自己回帰モデリングのトレードオフを指摘するとともに、MAGNeTを構成する各コンポーネントの重要性を強調した。
論文 参考訳(メタデータ) (2024-01-09T14:29:39Z) - Towards Smooth Video Composition [59.134911550142455]
ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。
本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。
単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
論文 参考訳(メタデータ) (2022-12-14T18:54:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。