論文の概要: Bridging Video Understanding and Generation in a Unified Framework

• arxiv url: http://arxiv.org/abs/2606.31326v1
• Date: Tue, 30 Jun 2026 08:29:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.140449
• Title: Bridging Video Understanding and Generation in a Unified Framework
• Title（参考訳）: 統一フレームワークにおけるブリッジングビデオ理解と生成
• Abstract要約: ビデオの理解と生成を橋渡しする統合フレームワークであるVegaを提案する。 Vegaは自動回帰(AR)予測とレンダリングを組み合わせたハイブリッドアーキテクチャを採用している。 VegaはVBenchのようなビデオ生成ベンチマークやVideoMMEのようなビデオ理解ベンチマークで高いパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 17.354510332268273
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, unified image generation and understanding have been extensively explored. However, extending such unified modeling paradigms to the video domain remains largely underexplored. A central challenge is that video understanding favors compact, discriminative semantic representations, whereas video generation requires dense signals that preserve visual details and temporal coherence. Videos naturally capture both spatial semantics and temporal dynamics, making them a more suitable modality for unified multimodal modeling compared to static images. In this paper, we propose Vega, a unified framework that bridges video understanding and generation. Vega leverages a shared vocabulary to jointly model text and visual representations and employs a hybrid architecture combining autoregressive (AR) prediction with diffusion-based rendering. Specifically, the AR model focuses on predicting semantically meaningful visual tokens for keyframes, providing a structured representation that guides the diffusion module in rendering dense, high-resolution video frames. Extensive experiments demonstrate that Vega achieves strong performance on video generation benchmarks such as VBench and video understanding benchmarks like VideoMME.
• Abstract（参考訳）: 近年,統合画像生成と理解が広範に研究されている。 しかし、このような統一されたモデリングパラダイムをビデオ領域に拡張することは、まだほとんど未検討である。 中心的な課題は、ビデオ理解がコンパクトで差別的な意味表現を好むのに対して、ビデオ生成には視覚的詳細と時間的コヒーレンスを保持する密集した信号が必要であることである。 ビデオは自然に空間的意味論と時間的ダイナミクスの両方を捉え、静的画像よりも統一マルチモーダルモデリングに適している。 本稿では,映像の理解と生成を橋渡しする統合フレームワークであるVegaを提案する。 Vegaは共有語彙を利用してテキストと視覚表現を共同でモデル化し、自己回帰(AR)予測と拡散ベースのレンダリングを組み合わせたハイブリッドアーキテクチャを採用している。 特に、ARモデルはキーフレームに対する意味論的に意味のある視覚トークンの予測に重点を置いており、密度の高い高解像度ビデオフレームのレンダリングにおいて拡散モジュールを誘導する構造化表現を提供する。 大規模な実験では、VegaはVBenchのようなビデオ生成ベンチマークやVideoMMEのようなビデオ理解ベンチマークで高いパフォーマンスを達成している。

関連論文リスト

• Gen4U: Unifying Video Generation and Understanding via Diffusion [25.621217360501106]
  我々は,映像拡散モデルがネットワーク深度とノイズレベルの両方にわたって進化していることを示す。 我々は、これらの生成表現を1つのフォワードパスで再利用するフレームワークであるGen4Uを紹介する。 実験により、凍結した大規模ビデオ拡散モデルが高い競争力を持つビデオエンコーダとして機能することが確認された。
  論文  参考訳（メタデータ） (2026-07-07T23:17:26Z)
• SkyReels-V3 Technique Report [23.793804843416606]
  ビデオの堅牢性は、コンテキスト推論が能力の定義テストである世界モデル構築の基盤となる。 拡散変換器を用いたマルチモーダル・イン・コンテクスト学習フレームワーク上に構築した条件付きビデオ生成モデルSkyReels-V3を提案する。 SkyReels-V3モデルは、イメージ・トゥ・ビデオ合成、ビデオ・ツー・ビデオ拡張、オーディオ誘導ビデオ生成という、3つのコア生成パラダイムを単一のアーキテクチャでサポートする。
  論文  参考訳（メタデータ） (2026-01-24T06:08:12Z)
• BindWeave: Subject-Consistent Video Generation via Cross-Modal Integration [56.98981194478512]
  本稿では,幅広いテーマ・ツー・ビデオシナリオを扱う統一フレームワークを提案する。 MLLM-DiTフレームワークは,事前訓練されたマルチモーダルな大規模言語モデルで,基底エンティティに対して深い相互モーダル推論を行う。 OpenS2Vベンチマークの実験により、本手法は、生成ビデオにおける主観的整合性、自然性、テキスト関連性において優れた性能を実現することを示した。
  論文  参考訳（メタデータ） (2025-10-01T02:41:11Z)
• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation [117.13475564834458]
  本稿では,一貫性自己注意という新たな自己注意計算手法を提案する。 提案手法を長距離ビデオ生成に拡張するために,新しい意味空間時間運動予測モジュールを導入する。 これら2つの新しいコンポーネントを統合することで、StoryDiffusionと呼ばれるフレームワークは、一貫した画像やビデオでテキストベースのストーリーを記述することができます。
  論文  参考訳（メタデータ） (2024-05-02T16:25:16Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• VideoGen: A Reference-Guided Latent Diffusion Approach for High Definition Text-to-Video Generation [73.54366331493007]
  VideoGenはテキスト・ツー・ビデオ生成方式であり、フレームの忠実度が高く、時間的一貫性の強い高精細なビデオを生成することができる。 我々は,テキストプロンプトから高品質な画像を生成するために,既製のテキスト画像生成モデル,例えば,安定拡散(Stable Diffusion)を利用する。
  論文  参考訳（メタデータ） (2023-09-01T11:14:43Z)
• Imagen Video: High Definition Video Generation with Diffusion Models [64.06483414521222]
  Imagen Videoは、ビデオ拡散モデルのカスケードに基づくテキスト条件付きビデオ生成システムである。 我々は高精細度ビデオを生成することができるが、高い可制御性と世界的知識を持つ画像n Videoを見いだす。
  論文  参考訳（メタデータ） (2022-10-05T14:41:38Z)
• Leveraging Local Temporal Information for Multimodal Scene Classification [9.548744259567837]
  映像シーン分類モデルは、映像の空間的(ピクセル的に)および時間的(フレーム的に)特性を効果的に捉えなければならない。 トークン列が与えられた個々のトークンに対して文脈化された表現を得るように設計された自己注意型トランスフォーマーモデルは、多くのコンピュータビジョンタスクで人気が高まっている。 本稿では,ビデオフレーム間の局所的・大域的時間的関係を利用して,各フレームの文脈的表現をより良くする自己注意ブロックを提案する。
  論文  参考訳（メタデータ） (2021-10-26T19:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。