論文の概要: Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering

• arxiv url: http://arxiv.org/abs/2309.09724v1
• Date: Mon, 18 Sep 2023 12:36:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 13:30:14.906991
• Title: Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering
• Title（参考訳）: 微分可能レンダリングを用いたロバスト形状保存深度推定
• Authors: Chi Zhang, Wei Yin, Gang Yu, Zhibin Wang, Tao Chen, Bin Fu, Joey Tianyi Zhou, Chunhua Shen
• Abstract要約: 我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
• 参考スコア（独自算出の注目度）: 93.94371335579321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we address the challenge of 3D scene structure recovery from monocular depth estimation. While traditional depth estimation methods leverage labeled datasets to directly predict absolute depth, recent advancements advocate for mix-dataset training, enhancing generalization across diverse scenes. However, such mixed dataset training yields depth predictions only up to an unknown scale and shift, hindering accurate 3D reconstructions. Existing solutions necessitate extra 3D datasets or geometry-complete depth annotations, constraints that limit their versatility. In this paper, we propose a learning framework that trains models to predict geometry-preserving depth without requiring extra data or annotations. To produce realistic 3D structures, we render novel views of the reconstructed scenes and design loss functions to promote depth estimation consistency across different views. Comprehensive experiments underscore our framework's superior generalization capabilities, surpassing existing state-of-the-art methods on several benchmark datasets without leveraging extra training information. Moreover, our innovative loss functions empower the model to autonomously recover domain-specific scale-and-shift coefficients using solely unlabeled images.
• Abstract（参考訳）: 本研究では,単眼深度推定による3次元シーン構造復元の課題に対処する。 従来の深度推定手法はラベル付きデータセットを利用して絶対深度を直接予測するが、最近の進歩はミックスデータセットのトレーニングを提唱し、多様な場面での一般化を促進している。 しかし、これらの混合データセットトレーニングは、未知のスケールとシフトのみの深さ予測をもたらし、正確な3d再構成を妨げる。 既存のソリューションには、余分な3dデータセットやジオメトリ完全深度アノテーションが必要であり、その汎用性を制限する制約がある。 本稿では,余分なデータやアノテーションを必要とせずに,幾何保存深度を予測するためのモデルを訓練する学習フレームワークを提案する。 現実的な3次元構造を実現するために,再構成されたシーンの新しいビューと設計損失関数を作成し,異なるビュー間の深さ推定一貫性を促進する。 総合的な実験は、余分なトレーニング情報を活用することなく、いくつかのベンチマークデータセット上の既存の最先端メソッドを越え、我々のフレームワークの優れた一般化能力を強調します。 さらに,革新的損失関数は,ラベルなしの画像のみを用いて,自律的にドメイン固有スケール・シフト係数を回復させる。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• A Fusion of Variational Distribution Priors and Saliency Map Replay for Continual 3D Reconstruction [1.2289361708127877]
  単一画像からの3次元物体形状の予測に焦点をあてた研究課題である。 このタスクは、形状の可視部分と隠蔽部分の両方を予測するために、重要なデータ取得を必要とする。 本稿では,従来のクラスを新しいクラスで学習した後でも合理的に再構築できる変分優先を用いたモデルの設計を目標とする,連続的な学習に基づく3D再構成手法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T06:48:55Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction [87.08227378010874]
  深度予測における高次3次元幾何学的制約の重要性を示す。 単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。 The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
  論文  参考訳（メタデータ） (2021-03-07T00:08:21Z)
• Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
  まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。 そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
  論文  参考訳（メタデータ） (2020-12-17T02:35:13Z)
• Improving Monocular Depth Estimation by Leveraging Structural Awareness and Complementary Datasets [21.703238902823937]
  視覚特徴の空間的関係を利用するために,空間的注意ブロックを有する構造認識ニューラルネットワークを提案する。 第2に,一様点対に対する大域的局所的相対損失を導入し,予測における空間的制約を増大させる。 第3に、先行手法の障害事例の分析に基づいて、挑戦シーンの新たなHard Case (HC) Depthデータセットを収集します。
  論文  参考訳（メタデータ） (2020-07-22T08:21:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。