論文の概要: Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation

• arxiv url: http://arxiv.org/abs/2406.12849v2
• Date: Wed, 30 Oct 2024 16:37:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:22:50.066571
• Title: Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation
• Title（参考訳）: 深度 - パースペクティブ蒸留とラベルなしデータ拡張による360度単眼深度推定の強化
• Authors: Ning-Hsu Wang, Yu-Lun Liu,
• Abstract要約: ラベルのない360度データを効果的に活用する新しい深度推定フレームワークを提案する。 提案手法では,教師モデルとして最先端の視点深度推定モデルを用いて擬似ラベルを生成する。 我々は、Matterport3DやStanford2D3Dといったベンチマークデータセットに対するアプローチを検証し、深さ推定精度を大幅に改善した。
• 参考スコア（独自算出の注目度）: 6.832852988957967
• License:
• Abstract: Accurately estimating depth in 360-degree imagery is crucial for virtual reality, autonomous navigation, and immersive media applications. Existing depth estimation methods designed for perspective-view imagery fail when applied to 360-degree images due to different camera projections and distortions, whereas 360-degree methods perform inferior due to the lack of labeled data pairs. We propose a new depth estimation framework that utilizes unlabeled 360-degree data effectively. Our approach uses state-of-the-art perspective depth estimation models as teacher models to generate pseudo labels through a six-face cube projection technique, enabling efficient labeling of depth in 360-degree images. This method leverages the increasing availability of large datasets. Our approach includes two main stages: offline mask generation for invalid regions and an online semi-supervised joint training regime. We tested our approach on benchmark datasets such as Matterport3D and Stanford2D3D, showing significant improvements in depth estimation accuracy, particularly in zero-shot scenarios. Our proposed training pipeline can enhance any 360 monocular depth estimator and demonstrates effective knowledge transfer across different camera projections and data types. See our project page for results: https://albert100121.github.io/Depth-Anywhere/
• Abstract（参考訳）: 360度画像の深さを正確に推定することは、仮想現実、自律ナビゲーション、没入型メディアアプリケーションにとって不可欠である。 カメラの投影や歪みが異なるため、360度画像に適用した場合、視線画像のための既存の深度推定法は失敗するが、ラベル付きデータペアの欠如により、360度手法は劣る。 ラベルのない360度データを効果的に活用する新しい深度推定フレームワークを提案する。 筆者らは6面立方体投影法により,教師モデルとして最先端の視点深度推定モデルを用いて擬似ラベルを生成する。 この方法は、大規模データセットの可用性の向上を活用する。 当社のアプローチには,障害領域に対するオフラインマスク生成と,オンライン半教師付き共同トレーニング体制の2つの主要な段階がある。 我々は、Matterport3DやStanford2D3Dといったベンチマークデータセットに対するアプローチを検証し、特にゼロショットシナリオにおいて、深さ推定の精度を大幅に改善したことを示す。 提案したトレーニングパイプラインは,360度単眼深度推定器を拡張可能であり,様々なカメラ投影とデータタイプ間の効果的な知識伝達を示す。 結果については、プロジェクトページを参照してください。

関連論文リスト

• The ADUULM-360 Dataset -- A Multi-Modal Dataset for Depth Estimation in Adverse Weather [12.155627785852284]
  この研究は、深度推定のための新しいマルチモーダルデータセットであるADUULM-360データセットを提示する。 ADUULM-360データセットは、既存の自動運転センサー、カメラ、ライダー、レーダーを全てカバーしている。 良質な気象条件と悪質な気象条件の多様なシーンを含む最初の深度推定データセットである。
  論文  参考訳（メタデータ） (2024-11-18T10:42:53Z)
• SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets [65.64958606221069]
  マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。 360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。 重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
  論文  参考訳（メタデータ） (2024-02-19T02:41:37Z)
• BiFuse++: Self-supervised and Efficient Bi-projection Fusion for 360 Depth Estimation [59.11106101006008]
  両射影融合と自己学習シナリオの組み合わせを検討するために,BiFuse++を提案する。 そこで我々は,BiFuseの性能向上のために,新たな融合モジュールとコントラスト対応測光損失を提案する。
  論文  参考訳（メタデータ） (2022-09-07T06:24:21Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• 360 Depth Estimation in the Wild -- The Depth360 Dataset and the SegFuse Network [35.03201732370496]
  全方位画像からの一視点深度推定は、自律運転やシーン再構築といった幅広い応用で人気を博している。 本研究ではまず,トレーニングデータ問題に対処するため,Depth360と呼ばれるさまざまな設定の大規模データセットを構築した。 次に、人間の眼を模倣してデータセットから効果的に学習する、エンドツーエンドのマルチタスク学習ネットワークであるSegFuseを提案する。
  論文  参考訳（メタデータ） (2022-02-16T11:56:31Z)
• Dense Depth Estimation from Multiple 360-degree Images Using Virtual Depth [4.984601297028257]
  提案したパイプラインは、360度画像の半径歪みを補償する球面カメラモデルを活用する。 仮想深度の設定とフォトニック再射誤差の最小化による効果的な深度推定法を提案する。 実験により,提案したパイプラインは,現在最先端の深度推定法と比較して推定精度が向上することを確認した。
  論文  参考訳（メタデータ） (2021-12-30T05:27:28Z)
• 360MonoDepth: High-Resolution 360{\deg} Monocular Depth Estimation [15.65828728205071]
  360degデータでは 単分子深度推定は 依然として課題です 現在のCNNベースのメソッドは、GPUメモリが限られているため、そのような高解像度をサポートしない。 タンジェント画像を用いた高解像度360deg画像からの単眼深度推定のためのフレキシブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:57:29Z)
• Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning [17.985386835096353]
  本研究では,従来の研究を限定した領域を改良した360度単眼深度推定法を提案する。 まず,重力対応ビデオのみを利用した自己教師付き360度深度学習手法を提案する。 次に,教師付き学習と自己指導型学習を組み合わせた共同学習手法を提案する。 第三に、深度を再構築する際に、視覚変換器によって符号化されたグローバル情報を保持できる非局所核融合ブロックを提案する。
  論文  参考訳（メタデータ） (2021-09-22T07:45:48Z)
• LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering [59.63979143021241]
  パノラマの地平線上での深度予測問題として360度レイアウト推定のタスクを定式化する。 レイアウトから深度予測への変換を区別できるように、差分可能な深度レンダリング手順を提案します。 提案手法は,360 レイアウトのベンチマークデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:41Z)
• Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction [87.08227378010874]
  深度予測における高次3次元幾何学的制約の重要性を示す。 単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。 The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
  論文  参考訳（メタデータ） (2021-03-07T00:08:21Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。