論文の概要: NVDS+: Towards Efficient and Versatile Neural Stabilizer for Video Depth Estimation
- arxiv url: http://arxiv.org/abs/2307.08695v3
- Date: Thu, 03 Oct 2024 17:58:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 23:29:44.973257
- Title: NVDS+: Towards Efficient and Versatile Neural Stabilizer for Video Depth Estimation
- Title(参考訳): NVDS+:ビデオ深度推定のための高能率・高能率ニューラル安定化器を目指して
- Authors: Yiran Wang, Min Shi, Jiaqi Li, Chaoyi Hong, Zihao Huang, Juewen Peng, Zhiguo Cao, Jianming Zhang, Ke Xian, Guosheng Lin,
- Abstract要約: ビデオ深度推定は時間的に一貫した深度を推定することを目的としている。
プラグ・アンド・プレイ方式で様々な単一画像モデルから推定される不整合深さを安定化するNVDS+を導入する。
このデータセットには、200万フレーム以上の14,203本のビデオが含まれている。
- 参考スコア(独自算出の注目度): 58.21817572577012
- License:
- Abstract: Video depth estimation aims to infer temporally consistent depth. One approach is to finetune a single-image model on each video with geometry constraints, which proves inefficient and lacks robustness. An alternative is learning to enforce consistency from data, which requires well-designed models and sufficient video depth data. To address both challenges, we introduce NVDS+ that stabilizes inconsistent depth estimated by various single-image models in a plug-and-play manner. We also elaborate a large-scale Video Depth in the Wild (VDW) dataset, which contains 14,203 videos with over two million frames, making it the largest natural-scene video depth dataset. Additionally, a bidirectional inference strategy is designed to improve consistency by adaptively fusing forward and backward predictions. We instantiate a model family ranging from small to large scales for different applications. The method is evaluated on VDW dataset and three public benchmarks. To further prove the versatility, we extend NVDS+ to video semantic segmentation and several downstream applications like bokeh rendering, novel view synthesis, and 3D reconstruction. Experimental results show that our method achieves significant improvements in consistency, accuracy, and efficiency. Our work serves as a solid baseline and data foundation for learning-based video depth estimation. Code and dataset are available at: https://github.com/RaymondWang987/NVDS
- Abstract(参考訳): ビデオ深度推定は時間的に一貫した深度を推定することを目的としている。
一つのアプローチは、幾何学的制約を伴って各ビデオに単一イメージモデルを微調整することであり、これは非効率性を示し、ロバスト性に欠ける。
もうひとつは、十分に設計されたモデルと十分なビデオ深度データを必要とするデータから一貫性を強制する学習だ。
両課題に対処するために,プラグ・アンド・プレイ方式で様々な単一画像モデルから推定される不整合深さを安定化するNVDS+を導入する。
また、VDW(VDW)データセットには、200万フレーム以上の14,203本のビデオが含まれている。
さらに、双方向推論戦略は、前方と後方の予測を適応的に融合させることで一貫性を向上させるように設計されている。
異なるアプリケーションに対して、小さなものから大規模なものまで、モデルファミリをインスタンス化する。
この手法はVDWデータセットと3つの公開ベンチマークで評価される。
この汎用性をさらに証明するため、NVDS+をビデオセマンティックセグメンテーションに拡張し、ボケレンダリング、新しいビュー合成、および3D再構成など、いくつかの下流アプリケーションに適用する。
実験結果から, 本手法は一貫性, 精度, 効率を著しく向上することがわかった。
我々の研究は、学習に基づくビデオ深度推定のための確かなベースラインとデータ基盤として機能する。
コードとデータセットは、https://github.com/RaymondWang987/NVDSで入手できる。
関連論文リスト
- Learning Temporally Consistent Video Depth from Video Diffusion Priors [57.929828486615605]
本研究は,映像深度推定の課題に対処する。
我々は予測タスクを条件付き生成問題に再構成する。
これにより、既存のビデオ生成モデルに埋め込まれた事前の知識を活用することができる。
論文 参考訳(メタデータ) (2024-06-03T16:20:24Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳(メタデータ) (2023-08-10T17:55:02Z) - Edge-aware Consistent Stereo Video Depth Estimation [3.611754783778107]
本稿では,高密度映像深度推定のための一貫した手法を提案する。
既存のモノラルな方法とは異なり、ステレオビデオに関係しています。
エッジ対応ステレオビデオモデルにより,深度マップを精度良く推定できることを示す。
論文 参考訳(メタデータ) (2023-05-04T08:30:04Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳(メタデータ) (2022-11-07T16:17:47Z) - Towards Accurate Reconstruction of 3D Scene Shape from A Single
Monocular Image [91.71077190961688]
まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。
次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。
我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-08-28T16:20:14Z) - Globally Consistent Video Depth and Pose Estimation with Efficient
Test-Time Training [15.46056322267856]
我々は、動きから学習に基づくビデオ構造(SfM)のグローバルな一貫した方法であるGCVDを提案する。
GCVDはコンパクトなポーズグラフをCNNベースの最適化に統合し、効率的な選択機構からグローバルに一貫した結果を得る。
実験の結果,GCVDは深さと姿勢の両面において最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2022-08-04T15:12:03Z) - Robust Consistent Video Depth Estimation [65.53308117778361]
本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。
本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。
従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
論文 参考訳(メタデータ) (2020-12-10T18:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。