論文の概要: Learning Temporally Consistent Video Depth from Video Diffusion Priors

• arxiv url: http://arxiv.org/abs/2406.01493v2
• Date: Tue, 4 Jun 2024 03:33:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 22:10:43.849197
• Title: Learning Temporally Consistent Video Depth from Video Diffusion Priors
• Title（参考訳）: ビデオ拡散先行データから時間的に一貫性のあるビデオ深度を学習する
• Authors: Jiahao Shao, Yuanbo Yang, Hongyu Zhou, Youmin Zhang, Yujun Shen, Matteo Poggi, Yiyi Liao,
• Abstract要約: 本研究は,映像深度推定の課題に対処する。 我々は予測タスクを条件付き生成問題に再構成する。 これにより、既存のビデオ生成モデルに埋め込まれた事前の知識を活用することができる。
• 参考スコア（独自算出の注目度）: 57.929828486615605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work addresses the challenge of video depth estimation, which expects not only per-frame accuracy but, more importantly, cross-frame consistency. Instead of directly developing a depth estimator from scratch, we reformulate the prediction task into a conditional generation problem. This allows us to leverage the prior knowledge embedded in existing video generation models, thereby reducing learning difficulty and enhancing generalizability. Concretely, we study how to tame the public Stable Video Diffusion (SVD) to predict reliable depth from input videos using a mixture of image depth and video depth datasets. We empirically confirm that a procedural training strategy -- first optimizing the spatial layers of SVD and then optimizing the temporal layers while keeping the spatial layers frozen -- yields the best results in terms of both spatial accuracy and temporal consistency. We further examine the sliding window strategy for inference on arbitrarily long videos. Our observations indicate a trade-off between efficiency and performance, with a one-frame overlap already producing favorable results. Extensive experimental results demonstrate the superiority of our approach, termed ChronoDepth, over existing alternatives, particularly in terms of the temporal consistency of the estimated depth. Additionally, we highlight the benefits of more consistent video depth in two practical applications: depth-conditioned video generation and novel view synthesis. Our project page is available at https://jhaoshao.github.io/ChronoDepth/.
• Abstract（参考訳）: この研究は、フレーム単位の精度だけでなく、フレーム間の一貫性を期待するビデオ深度推定の課題に対処する。 スクラッチから深度推定器を直接開発する代わりに、予測タスクを条件付き生成問題に再構成する。 これにより、既存のビデオ生成モデルに埋め込まれた事前知識を活用することができ、学習の難しさを低減し、一般化可能性を高めることができる。 具体的には,画像深度と映像深度を混合した画像深度データセットを用いて,パブリック安定ビデオ拡散(SVD)を用いて,入力ビデオから信頼性の高い深度を予測する方法について検討する。 我々は,まずSVDの空間層を最適化し,次に空間層を凍結させながら時間層を最適化する手続き的トレーニング戦略が,空間的精度と時間的一貫性の両面で最高の結果をもたらすことを実証的に確認した。 さらに、任意長ビデオの推測のためのスライディングウィンドウ戦略について検討する。 私たちの観察では、効率とパフォーマンスのトレードオフが示され、1フレームのオーバーラップがすでに望ましい結果を生み出しています。 大規模な実験結果から,提案手法はクロノデプス(ChronoDepth, ChronoDepth)と呼ばれ, 既存の代替手法, 特に推定深さの時間的一貫性よりも優れていることが示された。 さらに,深度条件付きビデオ生成と新しいビュー合成という,より一貫したビデオ深度の利点を強調した。 私たちのプロジェクトページはhttps://jhaoshao.github.io/ChronoDepth/で公開されています。

関連論文リスト

• FIFO-Diffusion: Generating Infinite Videos from Text without Training [44.65468310143439]
  FIFO-Diffusionは概念的には、追加のトレーニングなしで無限に長いビデオを生成することができる。 提案手法では, 頭部に完全に識別されたフレームを列挙し, 尾部に新しいランダムノイズフレームを列挙する。 提案手法が既存のテキスト・ビデオ生成ベースラインに対して有望な結果と有効性を示す。
  論文  参考訳（メタデータ） (2024-05-19T07:48:41Z)
• Controllable Augmentations for Video Representation Learning [34.79719112810065]
  本稿では,ローカルクリップとグローバルビデオを併用して,詳細な地域レベルの対応から学習し,時間的関係を最小化する枠組みを提案する。 我々のフレームワークは、アクション認識とビデオ検索の3つのビデオベンチマークよりも優れており、より正確な時間的ダイナミクスを捉えることができる。
  論文  参考訳（メタデータ） (2022-03-30T19:34:32Z)
• Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
  推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。 本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-02-24T23:51:36Z)
• Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。 我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-27T16:38:52Z)
• Beyond Short Clips: End-to-End Video-Level Learning with Collaborative Memories [56.91664227337115]
  本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。 これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。 提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-02T18:59:09Z)
• Blind Video Temporal Consistency via Deep Video Prior [61.062900556483164]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 本手法は,一対のオリジナルビデオとプロセッシングビデオを直接トレーニングするのみである。 本稿では,Deep Video Priorを用いてビデオ上の畳み込みネットワークをトレーニングすることにより,時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-22T16:19:20Z)
• Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
  本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。 そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
  論文  参考訳（メタデータ） (2020-02-26T12:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。