論文の概要: From Image to Video: An Empirical Study of Diffusion Representations

• arxiv url: http://arxiv.org/abs/2502.07001v2
• Date: Wed, 19 Mar 2025 21:27:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:32:54.177155
• Title: From Image to Video: An Empirical Study of Diffusion Representations
• Title（参考訳）: 画像からビデオへ:拡散表現の実証的研究
• Authors: Pedro Vélez, Luisa F. Polanía, Yi Yang, Chuhan Zhang, Rishabh Kabra, Anurag Arnab, Mehdi S. M. Sajjadi,
• Abstract要約: 拡散モデルは生成モデルに革命をもたらし、画像合成やビデオ合成において前例のないリアリズムを可能にした。 この研究は、視覚的理解のための映像と画像の拡散目標の直接比較として初めて行われ、表現学習における時間情報の役割についての洞察を提供する。
• 参考スコア（独自算出の注目度）: 37.09795196423048
• License:
• Abstract: Diffusion models have revolutionized generative modeling, enabling unprecedented realism in image and video synthesis. This success has sparked interest in leveraging their representations for visual understanding tasks. While recent works have explored this potential for image generation, the visual understanding capabilities of video diffusion models remain largely uncharted. To address this gap, we systematically compare the same model architecture trained for video versus image generation, analyzing the performance of their latent representations on various downstream tasks including image classification, action recognition, depth estimation, and tracking. Results show that video diffusion models consistently outperform their image counterparts, though we find a striking range in the extent of this superiority. We further analyze features extracted from different layers and with varying noise levels, as well as the effect of model size and training budget on representation and generation quality. This work marks the first direct comparison of video and image diffusion objectives for visual understanding, offering insights into the role of temporal information in representation learning.
• Abstract（参考訳）: 拡散モデルは生成モデルに革命をもたらし、画像合成やビデオ合成において前例のないリアリズムを可能にした。 この成功は、その表現を視覚的理解タスクに活用することへの関心を喚起した。 近年の研究では、画像生成の可能性について検討されているが、ビデオ拡散モデルの視覚的理解能力は、ほとんど変化がないままである。 このギャップに対処するために,ビデオと画像生成のために訓練された同じモデルアーキテクチャを体系的に比較し,画像分類,行動認識,深度推定,トラッキングなど,様々な下流タスクにおける潜在表現の性能を分析した。 以上の結果から,映像拡散モデルの方が画像の差を常に上回っていることが分かるが,この優位性の範囲は顕著である。 さらに、異なる層から抽出した特徴を様々なノイズレベルで分析し、モデルサイズとトレーニング予算が表現と生成品質に与える影響について検討する。 この研究は、視覚的理解のための映像と画像の拡散目標の直接比較として初めて行われ、表現学習における時間情報の役割についての洞察を提供する。

関連論文リスト

• RepVideo: Rethinking Cross-Layer Representation for Video Generation [53.701548524818534]
  テキスト・ビデオ拡散モデルのための拡張表現フレームワークであるRepVideoを提案する。 近隣層からの機能を蓄積してリッチな表現を形成することで、このアプローチはより安定したセマンティック情報をキャプチャする。 我々の実験は、RepVideoが正確な空間的外観を生成する能力を著しく向上するだけでなく、ビデオ生成における時間的一貫性も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-15T18:20:37Z)
• Video In-context Learning [46.40277880351059]
  本稿では,既存のビデオクリップからモデルが始まり,様々な将来的なシーケンスを生成するビデオインコンテキスト学習について検討する。 これを実現するために、タスクを明確に定義し、ビデオデータセット上で自動回帰変換器を訓練する。 客観的尺度と主観的尺度の両方を含む様々な評価指標を設計し、生成結果の視覚的品質と意味的精度を実証する。
  論文  参考訳（メタデータ） (2024-07-10T04:27:06Z)
• Toward a Diffusion-Based Generalist for Dense Vision Tasks [141.03236279493686]
  近年の研究では、画像自体が汎用的な視覚知覚のための自然なインタフェースとして利用できることが示されている。 我々は,画素空間での拡散を行い,高密度視覚タスクのための事前学習されたテキスト・画像拡散モデルを微調整するためのレシピを提案する。 実験では,4種類のタスクに対して評価を行い,他のビジョンジェネラリストと競合する性能を示す。
  論文  参考訳（メタデータ） (2024-06-29T17:57:22Z)
• DreamVideo: High-Fidelity Image-to-Video Generation with Image Retention and Text Guidance [69.0740091741732]
  本研究では,DreamVideo という名前の事前学習ビデオ拡散モデルに基づくフレーム保持分岐を考案し,高忠実度映像生成手法を提案する。 我々のモデルには強力な画像保持能力があり、我々の知る限り、他の画像-映像モデルと比較して、UCF101で最高の結果をもたらす。
  論文  参考訳（メタデータ） (2023-12-05T03:16:31Z)
• Foveation in the Era of Deep Learning [6.602118206533142]
  本稿では,グラフ畳み込みネットワークを利用してフェーブ化された画像を処理する,エンドツーエンドで微分可能なアクティブ・ビジョン・アーキテクチャを提案する。 我々のモデルは、分類に関連する画像の領域に反復的に出席することを学ぶ。 我々のモデルは最先端のCNNと、同等のパラメータと与えられたピクセルや予算の視覚アーキテクチャより優れています。
  論文  参考訳（メタデータ） (2023-12-03T16:48:09Z)
• SODA: Bottleneck Diffusion Models for Representation Learning [75.7331354734152]
  本稿では,表現学習のための自己教師付き拡散モデルSODAを紹介する。 このモデルには、ソースビューをコンパクトな表現に蒸留するイメージエンコーダが組み込まれており、関連する新規ビューの生成を導く。 エンコーダと復調復調復調復調復調復調復調復調復号器の密集ボトルネックを付与することにより,拡散モデルを強力な表現学習器に変換することができることを示す。
  論文  参考訳（メタデータ） (2023-11-29T18:53:34Z)
• Saliency-based Video Summarization for Face Anti-spoofing [4.730428911461921]
  本稿では,ビジュアル・サリエンシを活用して,ディープラーニングモデルの性能向上を目的とした,顔のアンチ・スプーフィング検出のための映像要約手法を提案する。 特に、ソース画像のラプラシアンフィルタ出力とウィーナーフィルタ出力との差から、サリエンシ情報を抽出する。 重み付けマップは、画像中の各ピクセルの重要性を示す唾液度情報に基づいて計算される。
  論文  参考訳（メタデータ） (2023-08-23T18:08:32Z)
• Diffusion Models Beat GANs on Image Classification [37.70821298392606]
  拡散モデルは、画像生成、復調、塗装、超解像、操作などの最先端の手法として注目されている。 本稿では,これらの埋め込みは識別情報を含むため,ノイズ予測タスクを超えて有用であり,分類にも活用できることを示す。 注意深い特徴選択とプーリングにより、拡散モデルは、分類タスクにおいて同等な生成的識別的手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2023-07-17T17:59:40Z)
• GPT4Image: Can Large Pre-trained Models Help Vision Models on Perception Tasks? [51.22096780511165]
  本稿では,大規模な事前学習モデルから抽出した知識を利用して,CNN や ViT などのモデルが拡張表現を学習するのを支援する新しい学習パラダイムを提案する。 我々は、詳細な記述を事前訓練されたエンコーダに入力し、画像の内容をエンコードするリッチなセマンティック情報でテキスト埋め込みを抽出する。
  論文  参考訳（メタデータ） (2023-06-01T14:02:45Z)
• Unified Graph Structured Models for Video Understanding [93.72081456202672]
  リレーショナル・テンポラル関係を明示的にモデル化するメッセージパッシンググラフニューラルネットワークを提案する。 本手法は,シーン内の関連エンティティ間の関係をより効果的にモデル化できることを示す。
  論文  参考訳（メタデータ） (2021-03-29T14:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。