論文の概要: Lumos-1: On Autoregressive Video Generation from a Unified Model Perspective

• arxiv url: http://arxiv.org/abs/2507.08801v1
• Date: Fri, 11 Jul 2025 17:59:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 18:03:54.460116
• Title: Lumos-1: On Autoregressive Video Generation from a Unified Model Perspective
• Title（参考訳）: Lumos-1:統一モデルから見た自動回帰ビデオ生成について
• Authors: Hangjie Yuan, Weihua Chen, Jun Cen, Hu Yu, Jingyun Liang, Shuning Chang, Zhihui Lin, Tao Feng, Pengwei Liu, Jiazheng Xing, Hao Luo, Jiasheng Tang, Fan Wang, Yi Yang,
• Abstract要約: 自己回帰型大言語モデル (LLM) は、多岐にわたる言語タスクを統合し、自己回帰型ビデオ生成の予備的な取り組みを刺激している。 Lumos-1は、最小限のアーキテクチャ変更で自動回帰ビデオジェネレータアーキテクチャを維持している。
• 参考スコア（独自算出の注目度）: 37.58855048653859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive large language models (LLMs) have unified a vast range of language tasks, inspiring preliminary efforts in autoregressive video generation. Existing autoregressive video generators either diverge from standard LLM architectures, depend on bulky external text encoders, or incur prohibitive latency due to next-token decoding. In this paper, we introduce Lumos-1, an autoregressive video generator that retains the LLM architecture with minimal architectural modifications. To inject spatiotemporal correlations in LLMs, we identify the efficacy of incorporating 3D RoPE and diagnose its imbalanced frequency spectrum ranges. Therefore, we propose MM-RoPE, a RoPE scheme that preserves the original textual RoPE while providing comprehensive frequency spectra and scaled 3D positions for modeling multimodal spatiotemporal data. Moreover, Lumos-1 resorts to a token dependency strategy that obeys intra-frame bidirectionality and inter-frame temporal causality. Based on this dependency strategy, we identify the issue of frame-wise loss imbalance caused by spatial information redundancy and solve it by proposing Autoregressive Discrete Diffusion Forcing (AR-DF). AR-DF introduces temporal tube masking during training with a compatible inference-time masking policy to avoid quality degradation. By using memory-efficient training techniques, we pre-train Lumos-1 on only 48 GPUs, achieving performance comparable to EMU3 on GenEval, COSMOS-Video2World on VBench-I2V, and OpenSoraPlan on VBench-T2V. Code and models are available at https://github.com/alibaba-damo-academy/Lumos.
• Abstract（参考訳）: 自己回帰型大言語モデル(LLM)は、多岐にわたる言語タスクを統合し、自己回帰型ビデオ生成の予備的な取り組みを刺激している。 既存の自動回帰ビデオジェネレータは標準のLCMアーキテクチャから分岐し、外部テキストエンコーダに依存している。 本稿では,Lumos-1を提案する。Lumos-1は,LLMアーキテクチャを最小限のアーキテクチャ変更で保持する自動回帰ビデオジェネレータである。 LLMに時空間相関を注入するため、3D RoPEを組み込んで不均衡な周波数範囲を診断する効果を同定した。 そこで本稿では,マルチモーダル時空間データモデリングのための包括的周波数スペクトルとスケールした3次元位置を提供しながら,元のテキストRoPEを保存するRoPE方式であるMM-RoPEを提案する。 さらに、Lumos-1はフレーム内の双方向性とフレーム間の時間的因果性に従うトークン依存戦略を採用している。 この依存性戦略に基づき,空間情報の冗長性に起因するフレーム単位の損失不均衡の問題を特定し,自己回帰離散拡散強制(AR-DF)を提案する。 AR-DFはトレーニング中に時間管マスキングを導入し、品質劣化を避けるために推論時マスキングと互換性がある。 メモリ効率のトレーニング技術を用いて、48GPUでLumos-1を事前トレーニングし、GenEvalでEMU3、VBench-I2VでCOSMOS-Video2World、VBench-T2VでOpenSoraPlanに匹敵する性能を実現した。 コードとモデルはhttps://github.com/alibaba-damo-academy/Lumos.comで公開されている。

関連論文リスト

• VideoMAR: Autoregressive Video Generatio with Continuous Tokens [33.906543515428424]
  マスケベースの自己回帰モデルでは、連続空間における有望な画像生成能力が実証されている。 連続トークンを用いたデコーダのみの自己回帰画像-ビデオモデルである textbfVideoMAR を提案する。 VideoMARは以前の最先端(Cosmos I2V)よりはるかに少ないパラメータを必要とする。
  論文  参考訳（メタデータ） (2025-06-17T04:08:18Z)
• VideoMolmo: Spatio-Temporal Grounding Meets Pointing [66.19964563104385]
  VideoMolmoは、ビデオシーケンスのきめ細かいポインティングに適したモデルだ。 新しい仮面融合はSAM2を双方向の点伝播に用いている。 The generalization of VideoMolmo, we introduced VPoMolS-temporal, a challenge out-of-distribution benchmark across two real-world scenarios。
  論文  参考訳（メタデータ） (2025-06-05T17:59:29Z)
• Vad-R1: Towards Video Anomaly Reasoning via Perception-to-Cognition Chain-of-Thought [58.321044666612174]
  Vad-R1は、ビデオ異常推論のためのエンドツーエンドのMLLMベースのフレームワークである。 我々は、異常を認識する人間の過程をシミュレートするパーセプション・トゥ・コグニション・チェーン・オブ・ワット(P2C-CoT)を設計する。 また,MLLMの異常推論能力を明示的に動機付ける改良型強化学習アルゴリズムAVA-GRPOを提案する。
  論文  参考訳（メタデータ） (2025-05-26T12:05:16Z)
• SkyReels-V2: Infinite-length Film Generative Model [35.00453687783287]
  Infinite-length Film Generative Model である SkyReels-V2 を提案し,マルチモーダル大言語モデル(MLLM),マルチステージ事前学習,強化学習,拡散強制フレームワークを提案する。 我々は,基本映像生成のためのプログレッシブ・レゾリューション・プレトレーニングを確立し,その後4段階のポストトレーニング強化を行った。
  論文  参考訳（メタデータ） (2025-04-17T16:37:27Z)
• Token-Efficient Long Video Understanding for Multimodal LLMs [101.70681093383365]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [93.18404922542702]
  本稿では,長期的空間的および時間的依存関係に対処する新しいビデオ生成モデルを提案する。 提案手法は,3次元認識型生成フレームワークにインスパイアされた,明示的で単純化された3次元平面のハイブリッド表現を取り入れたものである。 我々のモデルは高精細度ビデオクリップを解像度256時間256$ピクセルで合成し、フレームレート30fpsで5ドル以上まで持続する。
  論文  参考訳（メタデータ） (2024-01-11T16:48:44Z)
• Efficient Two-Stream Network for Violence Detection Using Separable Convolutional LSTM [0.0]
  Separable Convolutional LSTM(SepConvLSTM)と予め訓練されたMobileNetを活用した効率的な2ストリームディープラーニングアーキテクチャを提案する。 SepConvLSTMは、ConvLSTMの各ゲートの畳み込み操作を深さ方向に分離可能な畳み込みに置き換えて構築されます。 我々のモデルは、大きくて挑戦的なrwf-2000データセットの精度を2%以上上回っている。
  論文  参考訳（メタデータ） (2021-02-21T12:01:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。