論文の概要: NVDS+: Towards Efficient and Versatile Neural Stabilizer for Video Depth Estimation

• arxiv url: http://arxiv.org/abs/2307.08695v3
• Date: Thu, 03 Oct 2024 17:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 23:29:44.973257
• Title: NVDS+: Towards Efficient and Versatile Neural Stabilizer for Video Depth Estimation
• Title（参考訳）: NVDS+:ビデオ深度推定のための高能率・高能率ニューラル安定化器を目指して
• Authors: Yiran Wang, Min Shi, Jiaqi Li, Chaoyi Hong, Zihao Huang, Juewen Peng, Zhiguo Cao, Jianming Zhang, Ke Xian, Guosheng Lin,
• Abstract要約: ビデオ深度推定は時間的に一貫した深度を推定することを目的としている。 プラグ・アンド・プレイ方式で様々な単一画像モデルから推定される不整合深さを安定化するNVDS+を導入する。 このデータセットには、200万フレーム以上の14,203本のビデオが含まれている。
• 参考スコア（独自算出の注目度）: 58.21817572577012
• License:
• Abstract: Video depth estimation aims to infer temporally consistent depth. One approach is to finetune a single-image model on each video with geometry constraints, which proves inefficient and lacks robustness. An alternative is learning to enforce consistency from data, which requires well-designed models and sufficient video depth data. To address both challenges, we introduce NVDS+ that stabilizes inconsistent depth estimated by various single-image models in a plug-and-play manner. We also elaborate a large-scale Video Depth in the Wild (VDW) dataset, which contains 14,203 videos with over two million frames, making it the largest natural-scene video depth dataset. Additionally, a bidirectional inference strategy is designed to improve consistency by adaptively fusing forward and backward predictions. We instantiate a model family ranging from small to large scales for different applications. The method is evaluated on VDW dataset and three public benchmarks. To further prove the versatility, we extend NVDS+ to video semantic segmentation and several downstream applications like bokeh rendering, novel view synthesis, and 3D reconstruction. Experimental results show that our method achieves significant improvements in consistency, accuracy, and efficiency. Our work serves as a solid baseline and data foundation for learning-based video depth estimation. Code and dataset are available at: https://github.com/RaymondWang987/NVDS
• Abstract（参考訳）: ビデオ深度推定は時間的に一貫した深度を推定することを目的としている。 一つのアプローチは、幾何学的制約を伴って各ビデオに単一イメージモデルを微調整することであり、これは非効率性を示し、ロバスト性に欠ける。 もうひとつは、十分に設計されたモデルと十分なビデオ深度データを必要とするデータから一貫性を強制する学習だ。 両課題に対処するために,プラグ・アンド・プレイ方式で様々な単一画像モデルから推定される不整合深さを安定化するNVDS+を導入する。 また、VDW(VDW)データセットには、200万フレーム以上の14,203本のビデオが含まれている。 さらに、双方向推論戦略は、前方と後方の予測を適応的に融合させることで一貫性を向上させるように設計されている。 異なるアプリケーションに対して、小さなものから大規模なものまで、モデルファミリをインスタンス化する。 この手法はVDWデータセットと3つの公開ベンチマークで評価される。 この汎用性をさらに証明するため、NVDS+をビデオセマンティックセグメンテーションに拡張し、ボケレンダリング、新しいビュー合成、および3D再構成など、いくつかの下流アプリケーションに適用する。 実験結果から, 本手法は一貫性, 精度, 効率を著しく向上することがわかった。 我々の研究は、学習に基づくビデオ深度推定のための確かなベースラインとデータ基盤として機能する。 コードとデータセットは、https://github.com/RaymondWang987/NVDSで入手できる。

関連論文リスト

• Depth Estimation From Monocular Images With Enhanced Encoder-Decoder Architecture [0.0]
  本稿では,エンコーダデコーダアーキテクチャを用いた新しい深層学習手法を提案する。 Inception-ResNet-v2モデルはエンコーダとして利用される。 NYU Depth V2データセットの実験結果は、我々のモデルが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-15T13:46:19Z)
• Depth Any Video with Scalable Synthetic Data [98.42356740981839]
  多様な合成環境からリアルタイムのビデオ深度データをキャプチャする,スケーラブルな合成データパイプラインを開発した。 我々は、生成的ビデオ拡散モデルの強力な先駆を生かして、実世界の動画を効果的に処理する。 我々のモデルは、空間的精度と時間的一貫性の観点から、過去のすべての生成深度モデルより優れている。
  論文  参考訳（メタデータ） (2024-10-14T17:59:46Z)
• Learning Temporally Consistent Video Depth from Video Diffusion Priors [57.929828486615605]
  本研究は,映像深度推定の課題に対処する。 我々は予測タスクを条件付き生成問題に再構成する。 これにより、既存のビデオ生成モデルに埋め込まれた事前の知識を活用することができる。
  論文  参考訳（メタデータ） (2024-06-03T16:20:24Z)
• SM4Depth: Seamless Monocular Metric Depth Estimation across Multiple Cameras and Scenes by One Model [72.0795843450604]
  現在のアプローチでは、さまざまなシーンで一貫した精度を維持する上で、課題に直面している。 これらの手法は、何千万、あるいは数千万のデータからなる広範囲なデータセットに依存している。 本稿では室内と屋外の両方でシームレスに機能するSM$4$Depthについて述べる。
  論文  参考訳（メタデータ） (2024-03-13T14:08:25Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• ViDaS Video Depth-aware Saliency Network [40.08270905030302]
  両ストリームの完全な畳み込みビデオ,Depth-Aware Saliency ネットワークである ViDaS を紹介する。 ビデオのサリエンシ予測を通じて、注目度モデリングの問題に対処する。 ネットワークは2つのビジュアルストリームで構成され、1つはRGBフレーム用、もう1つは奥行きフレーム用である。 エンドツーエンドでトレーニングされ、アイトラッキングデータを備えたさまざまなデータベースで評価される。
  論文  参考訳（メタデータ） (2023-05-19T15:04:49Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。