論文の概要: LynnReal-Omni: Native multi-modal Video Generation for Agentic Visual Workflows
- arxiv url: http://arxiv.org/abs/2609.15863v1
- Date: Mon, 14 Sep 2026 16:55:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.520469
- Title: LynnReal-Omni: Native multi-modal Video Generation for Agentic Visual Workflows
- Title（参考訳）: LynnReal-Omni:エージェントビジュアルワークフローのためのネイティブマルチモーダルビデオ生成
- Abstract要約: LynnReal-Omniは32B共有マルチモーダル拡散変換器上に構築されたネイティブなマルチモーダルビデオ生成フレームワークである。
外観参照、編集可能な3Dレンダリング、ゲーム記録を含む異種視覚入力を受け取り、エージェントは統一されたモデル内で視覚条件を構成することができる。
我々は、ビデオクリーニング、主題関連、マルチモーダルアノテーション、アライメント制御構築のための体系的なデータパイプラインを構築し、マルチショット音声視覚セグメントのキュレートされたコーパスを生成する。
- 参考スコア（独自算出の注目度）: 14.18069475500841
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video diffusion models are stochastic and hard to control: precise content often requires repeated sampling without guaranteed success, and long-horizon scenes drift in appearance, interactions, and temporal coherence. Agentic visual creation provides explicit references, editable 3D scenes, or executable game states for stable control, but does not by itself guarantee high object or character fidelity. Combining the two can enable stable, high-quality generation. To realize this combination, we present LynnReal-Omni, a native multimodal video generation framework built on a 32B shared multimodal diffusion transformer that unifies text-to-video, image-conditioned generation, reference-guided generation, structural control, editing, degraded video restoration, and long-video generation. It accepts heterogeneous visual inputs, including appearance references, editable 3D renders, and game recordings, allowing agents to compose visual conditions within a unified model. We also train a dedicated 27B Flash shared multimodal diffusion transformer for real-time rendering. We build a systematic data pipeline for video cleaning, subject association, multimodal annotation, and aligned control construction, yielding a curated corpus of multi-shot audiovisual segments, and introduce MSAVP, a 100-prompt, 20-metric evaluation design that separates instruction following, generating plausibility, visual quality, temporal behavior, and audio coordination. LynnReal-Omni-Flash further reduces inference cost through model and decoding acceleration, including a lightweight VAE decoder; on one H100, warm generation and decoding of a 22-frame 540p video take 843 ms with LynnReal-Omni and 377 ms with Flash. These results provide a foundation for real-time streaming video generation, making LynnReal-Omni a unified, controllable, and efficient basis for agentic visual creation.
- Abstract（参考訳）: ビデオ拡散モデルは確率的かつ制御が難しい: 正確なコンテンツは、しばしば成功を保証せずに繰り返しサンプリングを必要とし、長い水平のシーンは外観、相互作用、時間的コヒーレンスで漂う。
エージェント視覚生成は、明確な参照、編集可能な3Dシーン、安定した制御のための実行可能ゲームステートを提供するが、それ自体は高いオブジェクトや文字の忠実さを保証するものではない。
この2つを組み合わせることで、安定的で高品質な生成が可能になる。
この組み合わせを実現するために,32B共有マルチモーダル拡散トランスフォーマ上に構築されたネイティブマルチモーダルビデオ生成フレームワークであるLynReal-Omniを提案する。
外観参照、編集可能な3Dレンダリング、ゲーム記録を含む異種視覚入力を受け取り、エージェントは統一されたモデル内で視覚条件を構成することができる。
また、リアルタイムレンダリングのために、専用の27B Flash共有マルチモーダル拡散変換器をトレーニングします。
我々は、ビデオクリーニング、主題関連、マルチモーダルアノテーション、アライメント制御構築のための体系的なデータパイプラインを構築し、マルチショット音声視覚セグメントのキュレートされたコーパスを生成し、MSAVP、100プロンプト、20メトリック評価設計を導入し、指示の追従、可視性、視覚的品質、時間的行動、オーディオコーディネーションを生成する。
LynnReal-Omni-Flashは、軽量なVAEデコーダを含むモデルおよびデコードアクセラレーションによる推論コストをさらに削減する。
これらの結果はリアルタイムストリーミングビデオ生成の基盤となり、LynReal-Omniはエージェント視覚生成のための統一的で制御可能で効率的な基盤となる。
関連論文リスト
- MAVIN: Multi-Shot Audio-Visual Generation with Narrative Control [66.04301887685004]
既存の手法は、時間的ミスアライメント、制限された制御性、不完全なスクリプティングに悩まされている。
我々は、カスタマイズされた物語制御によるマルチショット映像生成のための最初のフレームワークであるMAVINを提案する。
MAVINは最先端のパフォーマンスを実現し、生成モデルをプロの映画製作に組み込む新たな道を開く。
論文 参考訳（メタデータ） (2026-06-28T16:01:04Z) - Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing [93.8111348452324]
Tele-Omniはビデオ生成と編集のための統合されたフレームワークで、マルチモーダルな指示に従う。
テキスト・ツー・ビデオ生成、画像・ビデオ生成、ファースト・ラスト・フレーム・ビデオ生成、イン・コンテクスト・ビデオ生成、およびイン・コンテクスト・ビデオ編集をサポートする。
論文 参考訳（メタデータ） (2026-02-10T10:01:16Z) - VINO: A Unified Visual Generator with Interleaved OmniModal Context [36.71641694179164]
VINOは、単一のフレームワーク内で画像とビデオの生成と編集を行う統合ビジュアルジェネレータである。
タスク固有のモデルやモジュールを各モダリティに依存するのではなく、VINOは共有拡散バックボーンを使用する。
論文 参考訳（メタデータ） (2026-01-05T18:56:34Z) - DriveGen3D: Boosting Feed-Forward Driving Scene Generation with Efficient Video Diffusion [62.589889759543446]
DriveGen3Dは、高品質で制御可能な動的3D駆動シーンを生成するための新しいフレームワークである。
本研究は,映像の高速化と大規模動的シーン再構築を融合させることにより,この手法のギャップを埋めるものである。
論文 参考訳（メタデータ） (2025-10-17T03:00:08Z) - SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers [25.36460340267922]
SkyReels-Audioは高忠実で時間的コヒーレントなポートレート映像を合成するための統一的なフレームワークである。
我々のフレームワークは、無限長の生成と編集をサポートし、マルチモーダル入力による多様かつ制御可能な条件付けを可能にする。
論文 参考訳（メタデータ） (2025-06-01T04:27:13Z) - Video Diffusion Transformers are In-Context Learners [31.736838809714726]
本稿では,ビデオ拡散変換器のコンテキスト内機能を実現するためのソリューションについて検討する。
本稿では,テキスト内生成を利用するための簡単なパイプラインを提案する: (textbfii$) ビデオは,空間的あるいは時間的次元に沿って行われる。
当社のフレームワークは,研究コミュニティにとって貴重なツールであり,製品レベルの制御可能なビデオ生成システムを進化させる上で重要な洞察を提供する。
論文 参考訳（メタデータ） (2024-12-14T10:39:55Z) - xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations [120.52120919834988]
xGen-SynVideo-1(xGen-SynVideo-1)は、テキスト記述からリアルなシーンを生成することができるテキスト・ツー・ビデオ(T2V)生成モデルである。
VidVAEはビデオデータを空間的にも時間的にも圧縮し、視覚トークンの長さを大幅に削減する。
DiTモデルは、空間的および時間的自己アテンション層を取り入れ、異なる時間枠とアスペクト比をまたいだ堅牢な一般化を可能にする。
論文 参考訳（メタデータ） (2024-08-22T17:55:22Z) - Free-Bloom: Zero-Shot Text-to-Video Generator with LLM Director and LDM
Animator [59.589919015669274]
本研究では,データ・コスト効率を考慮したゼロショットテキスト・ビデオ生成に焦点を当てた。
本稿では,大規模言語モデル (LLM) をディレクタとして活用し,セマンティック・コヒーレンス・プロンプト・シーケンスを生成する新しいフリーブルームパイプラインを提案する。
また,共同ノイズサンプリング,ステップ・アウェア・アテンション・シフト,デュアルパスなど,逆処理におけるLCMの適応に対する注釈修正も提案する。
論文 参考訳（メタデータ） (2023-09-25T19:42:16Z) - Towards Smooth Video Composition [59.134911550142455]
ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。
本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。
単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
論文 参考訳（メタデータ） (2022-12-14T18:54:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。