論文の概要: Gen4U: Unifying Video Generation and Understanding via Diffusion

• arxiv url: http://arxiv.org/abs/2607.06856v1
• Date: Tue, 07 Jul 2026 23:17:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.237595
• Title: Gen4U: Unifying Video Generation and Understanding via Diffusion
• Title（参考訳）: Gen4U:ビデオ生成と拡散による理解の統合
• Abstract要約: 我々は,映像拡散モデルがネットワーク深度とノイズレベルの両方にわたって進化していることを示す。 我々は、これらの生成表現を1つのフォワードパスで再利用するフレームワークであるGen4Uを紹介する。 実験により、凍結した大規模ビデオ拡散モデルが高い競争力を持つビデオエンコーダとして機能することが確認された。
• 参考スコア（独自算出の注目度）: 25.621217360501106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior work suggests that diffusion representations capture low-level geometry but struggle with high-level semantics. We demonstrate that state-of-the-art video diffusion models overcome this limitation. By systematically probing their intermediate activations using recent mutual-kNN alignment metrics, we reveal a highly structured latent space where visual representations evolve across both network depth and noise levels. We show that while moderate noise levels yield linearly separable global semantics, fine-grained details persist at lower noise levels but become spatially scattered, requiring attention mechanisms to decode. Building on these insights, we introduce Gen4U (Generation for Understanding), a framework that repurposes these generative representations with a single forward pass. Our experiments establish that frozen, large-scale video diffusion models function as highly competitive video encoders across a wide spectrum of tasks, spanning semantic and non-semantic objectives (video classification, depth estimation, camera pose estimation, image and video captioning). Bypassing fine-tuning, Gen4U unifies the generation and understanding paradigms, achieving strong perception performance while fully preserving the model's ability to generate high-quality video.
• Abstract（参考訳）: 以前の研究は拡散表現が低レベルの幾何学を捉えるが、高レベルの意味論に苦しむことを示唆していた。 我々は、最先端のビデオ拡散モデルがこの制限を克服することを実証する。 近年の相互kNNアライメント指標を用いて,その中間活性化を体系的に探索することにより,ネットワーク深度と雑音レベルの両方で視覚的表現が進化する高度に構造化された潜在空間を明らかにする。 雑音レベルは線形に分離可能な大域的意味論を導出するが、より低い雑音レベルでは細粒度は持続するが、空間的に分散し、復号のための注意機構を必要とする。 これらの知見に基づいて、生成表現を1つのフォワードパスで再利用するフレームワークであるGen4U(Generation for Understanding)を紹介する。 実験により,凍結した大規模ビデオ拡散モデルは,映像分類,深度推定,カメラポーズ推定,画像キャプション,ビデオキャプションなど,多種多様なタスクにまたがる高い競争力を持つビデオエンコーダとして機能することが確認された。 微調整を通すことで、Gen4Uは生成パラダイムと理解パラダイムを統一し、高品質のビデオを生成するモデルの能力を完全に保ちながら、強い知覚性能を達成する。

関連論文リスト

• Bridging Video Understanding and Generation in a Unified Framework [17.354510332268273]
  ビデオの理解と生成を橋渡しする統合フレームワークであるVegaを提案する。 Vegaは自動回帰(AR)予測とレンダリングを組み合わせたハイブリッドアーキテクチャを採用している。 VegaはVBenchのようなビデオ生成ベンチマークやVideoMMEのようなビデオ理解ベンチマークで高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-06-30T08:29:29Z)
• Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling [59.97930201616015]
  本研究では,共有バックボーン内で高レベルなクロスモーダルモデリングを行う自己回帰拡散フレームワークであるTalker-T2AVを提案する。 共有自己回帰言語モデルは、統一されたパッチレベルのトークン空間において、オーディオとビデオに対して共同で原因となる。 ポートレートベンチマークの実験では、Talker-T2AVはリップシンク精度、ビデオ品質、オーディオ品質において、デュアルブランチベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-26T07:48:47Z)
• SemanticNVS: Improving Semantic Scene Understanding in Generative Novel View Synthesis [25.524477911101325]
  新規ビュー合成のためのカメラ条件付き多視点拡散モデルSemanticNVSを提案する。 既存のNVS法は、長距離カメラ動作下で意味的に不明瞭で歪んだ画像を生成する。 遠隔地でも高品質なシーンセマンティクスを実現するための条件付けとして,事前学習型セマンティクス抽出器を統合することを提案する。
  論文  参考訳（メタデータ） (2026-02-23T17:45:21Z)
• SemanticGen: Video Generation in Semantic Space [60.49729308406981]
  最先端のビデオ生成モデルは、通常、VAE空間内のビデオ潜像の分布を学習し、VAEデコーダを使用してピクセルにマッピングする。 我々はセマンティックGenを紹介した。セマンティックGenはセマンティックな空間でビデオを生成する新しいソリューションだ。 提案手法は,長大なビデオ生成に拡張した場合にも有効であり,計算的にも効率的である。
  論文  参考訳（メタデータ） (2025-12-23T18:59:56Z)
• InternVideo-Next: Towards General Video Foundation Models without Video-Text Supervision [29.40602634269908]
  大規模ビデオテキスト事前学習は高い性能を達成するが、意味的範囲が限られているため、ノイズの多い合成時間に依存する。 Masked Video Modeling (MVM) はパスを直接活用するが、一般的なタスクではテキストを教師する手法である。 InternVideo-Nextは2段階の事前学習方式で、セマンティックに一貫性があるが詳細保存可能な潜在空間を構築できる。
  論文  参考訳（メタデータ） (2025-12-01T06:57:39Z)
• RepVideo: Rethinking Cross-Layer Representation for Video Generation [53.701548524818534]
  テキスト・ビデオ拡散モデルのための拡張表現フレームワークであるRepVideoを提案する。 近隣層からの機能を蓄積してリッチな表現を形成することで、このアプローチはより安定したセマンティック情報をキャプチャする。 我々の実験は、RepVideoが正確な空間的外観を生成する能力を著しく向上するだけでなく、ビデオ生成における時間的一貫性も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-15T18:20:37Z)
• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners [69.70590867769408]
  ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。 既存の拡散に基づく手法は、ビデオと音声を別々に生成する。 本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
  論文  参考訳（メタデータ） (2024-02-27T17:57:04Z)
• In-N-Out Generative Learning for Dense Unsupervised Video Segmentation [89.21483504654282]
  本稿では,ラベルなしビデオから視覚的対応を学習する,教師なしビデオオブジェクト(VOS)タスクに焦点を当てる。 In-aNd-Out(INO)生成学習を純粋に生成的観点から提案する。 我々のINOは、最先端の手法をかなりのマージンで上回っている。
  論文  参考訳（メタデータ） (2022-03-29T07:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。