論文の概要: Learning Temporally Consistent Video Depth from Video Diffusion Priors
- arxiv url: http://arxiv.org/abs/2406.01493v3
- Date: Mon, 02 Dec 2024 17:10:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-03 20:22:56.002864
- Title: Learning Temporally Consistent Video Depth from Video Diffusion Priors
- Title（参考訳）: ビデオ拡散先行データから時間的に一貫性のあるビデオ深度を学習する
- Authors: Jiahao Shao, Yuanbo Yang, Hongyu Zhou, Youmin Zhang, Yujun Shen, Vitor Guizilini, Yue Wang, Matteo Poggi, Yiyi Liao,
- Abstract要約: 本研究は,ストリーム映像深度推定の課題に対処する。
フレームやクリップ間でコンテキスト情報を共有することは、時間的一貫性を育む上で重要である、と我々は主張する。
具体的には、任意の長さの動画に対して一貫したコンテキスト認識学習と推論戦略を提案し、クロスクリップなコンテキストを提供する。
- 参考スコア（独自算出の注目度）: 62.36887303063542
- License:
- Abstract: This work addresses the challenge of streamed video depth estimation, which expects not only per-frame accuracy but, more importantly, cross-frame consistency. We argue that sharing contextual information between frames or clips is pivotal in fostering temporal consistency. Thus, instead of directly developing a depth estimator from scratch, we reformulate this predictive task into a conditional generation problem to provide contextual information within a clip and across clips. Specifically, we propose a consistent context-aware training and inference strategy for arbitrarily long videos to provide cross-clip context. We sample independent noise levels for each frame within a clip during training while using a sliding window strategy and initializing overlapping frames with previously predicted frames without adding noise. Moreover, we design an effective training strategy to provide context within a clip. Extensive experimental results validate our design choices and demonstrate the superiority of our approach, dubbed ChronoDepth. Project page: https://xdimlab.github.io/ChronoDepth/.
- Abstract（参考訳）: この研究は、ストリーム化されたビデオ深度推定の課題に対処する。これは、フレームごとの精度だけでなく、フレーム間の一貫性も期待している。
フレームやクリップ間でコンテキスト情報を共有することは、時間的一貫性を育む上で重要である、と我々は主張する。
そこで我々は,スクラッチから深度推定器を直接開発する代わりに,この予測タスクを条件生成問題に再構成し,クリップ内およびクリップ間における文脈情報を提供する。
具体的には、任意の長さの動画に対して一貫したコンテキスト認識学習と推論戦略を提案し、クロスクリップなコンテキストを提供する。
我々は、スライドウインドウ戦略を用いて、トレーニング中に各フレーム毎に独立したノイズレベルをサンプリングし、事前に予測されたフレームを付加することなく重なり合うフレームを初期化する。
さらに、クリップ内でコンテキストを提供するための効果的なトレーニング戦略を設計する。
大規模な実験により、我々の設計選択が検証され、クロノデプスと呼ばれるアプローチの優位性が証明された。
プロジェクトページ: https://xdimlab.github.io/ChronoDepth/。
関連論文リスト
- FIFO-Diffusion: Generating Infinite Videos from Text without Training [44.65468310143439]
FIFO-Diffusionは概念的には、追加のトレーニングなしで無限に長いビデオを生成することができる。
提案手法では, 頭部に完全に識別されたフレームを列挙し, 尾部に新しいランダムノイズフレームを列挙する。
提案手法が既存のテキスト・ビデオ生成ベースラインに対して有望な結果と有効性を示す。
論文 参考訳（メタデータ） (2024-05-19T07:48:41Z) - Controllable Augmentations for Video Representation Learning [34.79719112810065]
本稿では,ローカルクリップとグローバルビデオを併用して,詳細な地域レベルの対応から学習し,時間的関係を最小化する枠組みを提案する。
我々のフレームワークは、アクション認識とビデオ検索の3つのビデオベンチマークよりも優れており、より正確な時間的ダイナミクスを捉えることができる。
論文 参考訳（メタデータ） (2022-03-30T19:34:32Z) - Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。
本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
論文 参考訳（メタデータ） (2022-02-24T23:51:36Z) - Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。
提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。
我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
論文 参考訳（メタデータ） (2022-01-27T16:38:52Z) - Beyond Short Clips: End-to-End Video-Level Learning with Collaborative
Memories [56.91664227337115]
本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。
これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。
提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
論文 参考訳（メタデータ） (2021-04-02T18:59:09Z) - Blind Video Temporal Consistency via Deep Video Prior [61.062900556483164]
視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。
本手法は,一対のオリジナルビデオとプロセッシングビデオを直接トレーニングするのみである。
本稿では,Deep Video Priorを用いてビデオ上の畳み込みネットワークをトレーニングすることにより,時間的一貫性を実現することができることを示す。
論文 参考訳（メタデータ） (2020-10-22T16:19:20Z) - Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。
そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
論文 参考訳（メタデータ） (2020-02-26T12:24:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。