論文の概要: Repurposing Pre-trained Video Diffusion Models for Event-based Video Interpolation

• arxiv url: http://arxiv.org/abs/2412.07761v1
• Date: Tue, 10 Dec 2024 18:55:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:46.027321
• Title: Repurposing Pre-trained Video Diffusion Models for Event-based Video Interpolation
• Title（参考訳）: イベントベースビデオ補間のための事前学習ビデオ拡散モデルの再検討
• Authors: Jingxi Chen, Brandon Y. Feng, Haoming Cai, Tianfu Wang, Levi Burner, Dehao Yuan, Cornelia Fermuller, Christopher A. Metzler, Yiannis Aloimonos,
• Abstract要約: イベントベースのビデオフレーム補間(EVFI)は、動き誘導としてスパースで高時間分解能なイベント計測を使用する。 我々は、インターネット規模のデータセットで訓練された事前学習ビデオ拡散モデルをEVFIに適用する。 提案手法は既存の手法より優れており,カメラ全体の一般化が従来の手法よりもはるかに優れている。
• 参考スコア（独自算出の注目度）: 20.689304579898728
• License:
• Abstract: Video Frame Interpolation aims to recover realistic missing frames between observed frames, generating a high-frame-rate video from a low-frame-rate video. However, without additional guidance, the large motion between frames makes this problem ill-posed. Event-based Video Frame Interpolation (EVFI) addresses this challenge by using sparse, high-temporal-resolution event measurements as motion guidance. This guidance allows EVFI methods to significantly outperform frame-only methods. However, to date, EVFI methods have relied on a limited set of paired event-frame training data, severely limiting their performance and generalization capabilities. In this work, we overcome the limited data challenge by adapting pre-trained video diffusion models trained on internet-scale datasets to EVFI. We experimentally validate our approach on real-world EVFI datasets, including a new one that we introduce. Our method outperforms existing methods and generalizes across cameras far better than existing approaches.
• Abstract（参考訳）: Video Frame Interpolationは、観察されたフレーム間の現実的な行方不明フレームを復元することを目的としており、低フレームレートのビデオから高フレームレートのビデオを生成する。 しかし、追加のガイダンスがなければ、フレーム間の大きな動きはこの問題を悪用する。 イベントベースのビデオフレーム補間(EVFI)はこの課題に対処する。 このガイダンスにより、EVFI法はフレームのみの手法よりも大幅に優れている。 しかし、これまでEVFIメソッドは、ペア化されたイベントフレームのトレーニングデータの限られたセットに依存しており、パフォーマンスと一般化能力を著しく制限してきた。 本研究では,インターネット規模のデータセットでトレーニングされたトレーニング済みビデオ拡散モデルをEVFIに適用することで,限られたデータ課題を克服する。 我々は、実世界のEVFIデータセットに対する我々のアプローチを実験的に検証し、導入した新しいデータセットを含める。 提案手法は既存の手法より優れており,カメラ全体の一般化が従来の手法よりもはるかに優れている。

関連論文リスト

• CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
  ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。 1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。 提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-27T10:09:17Z)
• ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation [81.90265212988844]
  本稿では,プラグイン・アンド・プレイ方式で生成ビデオモデルを作成するためのトレーニング不要なビデオ手法を提案する。 我々は,映像モデルを隠れ状態補正モジュールを備えた自己カスケード映像拡散モデルに変換する。 私たちのトレーニングフリーの手法は、巨大な計算リソースと大規模データセットによってサポートされているトレーニングモデルにさえ匹敵するものです。
  論文  参考訳（メタデータ） (2024-06-03T00:31:13Z)
• Event-based Video Frame Interpolation with Edge Guided Motion Refinement [28.331148083668857]
  本稿では,イベント信号のエッジ特徴を効果的に活用するためのエンドツーエンドE-VFI学習手法を提案する。 提案手法にはエッジガイド・アテンテーティブ(EGA)モジュールが組み込まれており,アテンテーティブアグリゲーションによって推定された映像の動きを補正する。 合成データと実データの両方を用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-04-28T12:13:34Z)
• Video Dynamics Prior: An Internal Learning Approach for Robust Video Enhancements [83.5820690348833]
  外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。 提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
  論文  参考訳（メタデータ） (2023-12-13T01:57:11Z)
• Boost Video Frame Interpolation via Motion Adaptation [73.42573856943923]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを生成することを目的とした課題である。 既存の学習ベースのVFI手法は大きな成功を収めたが、それでも限定的な一般化能力に悩まされている。 テスト時に見えない動作に適応できる新しい最適化ベースのVFI法を提案する。
  論文  参考訳（メタデータ） (2023-06-24T10:44:02Z)
• Inter-frame Accelerate Attack against Video Interpolation Models [73.28751441626754]
  我々は,対戦型攻撃をVIFモデルに適用し,対戦型モデルに対して非常に脆弱であることを示す。 本稿では,フレーム間加速攻撃(IAA)と呼ばれる新しい攻撃手法を提案する。 本手法は従来の手法と同等の攻撃性能を達成しつつ,攻撃効率を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-05-11T03:08:48Z)
• E-VFIA : Event-Based Video Frame Interpolation with Attention [8.93294761619288]
  軽量カーネルベース手法として,注目度の高いイベントベースビデオフレーム(E-VFIA)を提案する。 E-VFIAは、イベント情報を変形可能な畳み込みによって標準的なビデオフレームと融合し、高品質な補間フレームを生成する。 提案手法は、時間分解能の高いイベントを表現し、イベントベース情報をよりよくエンコードするためにマルチヘッド自己保持機構を使用する。
  論文  参考訳（メタデータ） (2022-09-19T21:40:32Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。