論文の概要: Back to the Color: Learning Depth to Specific Color Transformation for Unsupervised Depth Estimation

• arxiv url: http://arxiv.org/abs/2406.07741v2
• Date: Sun, 23 Jun 2024 21:54:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 00:13:51.681185
• Title: Back to the Color: Learning Depth to Specific Color Transformation for Unsupervised Depth Estimation
• Title（参考訳）: バック・トゥ・ザ・カラー:教師なし深度推定のための特定の色変換への深度学習
• Authors: Yufan Zhu, Chongzhi Ran, Mingtao Feng, Weisheng Dong, Antonio M. López, Guangming Shi,
• Abstract要約: 実世界のデータに基づいて訓練されたモデルを用いて,奥行きからリアルな色を予測するフレームワークBack2Colorを提案する。 また、時間次元と空間次元の両方で教師なし学習の利点を統合する自動学習不確実性時空間融合法(Auto-UTSF)を提案する。
• 参考スコア（独自算出の注目度）: 46.04256306233515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Virtual engines have the capability to generate dense depth maps for various synthetic scenes, making them invaluable for training depth estimation models. However, synthetic colors often exhibit significant discrepancies compared to real-world colors, thereby posing challenges for depth estimation in real-world scenes, particularly in complex and uncertain environments encountered in unsupervised monocular depth estimation tasks. To address this issue, we propose Back2Color, a framework that predicts realistic colors from depth utilizing a model trained on real-world data, thus facilitating the transformation of synthetic colors into real-world counterparts. Additionally, by employing the Syn-Real CutMix method for joint training with both real-world unsupervised and synthetic supervised depth samples, we achieve improved performance in monocular depth estimation for real-world scenes. Moreover, to comprehensively address the impact of non-rigid motions on depth estimation, we propose an auto-learning uncertainty temporal-spatial fusion method (Auto-UTSF), which integrates the benefits of unsupervised learning in both temporal and spatial dimensions. Furthermore, we design a depth estimation network (VADepth) based on the Vision Attention Network. Our Back2Color framework demonstrates state-of-the-art performance, as evidenced by improvements in performance metrics and the production of fine-grained details in our predictions, particularly on challenging datasets such as Cityscapes for unsupervised depth estimation.
• Abstract（参考訳）: 仮想エンジンは様々な合成シーンの深度マップを生成する能力を有しており、深度推定モデルの訓練には有用ではない。 しかし、合成色は実世界の色に比べて大きな相違が見られることが多く、特に教師なしの単分子深度推定タスクで発生する複雑で不確実な環境において、現実世界のシーンにおける深度推定の課題を提起する。 この問題に対処するために,実世界のデータに基づいて訓練されたモデルを用いて,奥行きからリアルな色を予測するフレームワークBack2Colorを提案する。 さらに,Syn-Real CutMix法を実世界の非教師付きおよび合成教師付き深度サンプルの併用訓練に利用することにより,実世界のシーンにおける単眼深度推定の性能向上を実現する。 さらに,非厳密な動きが深度推定に与える影響を包括的に解決するために,時間次元と空間次元の両方で教師なし学習の利点を統合する自動学習不確実性時空間融合法(Auto-UTSF)を提案する。 さらに,視覚注意ネットワークに基づく深度推定ネットワーク(VADepth)を設計する。 私たちのBack2Colorフレームワークは、パフォーマンス指標の改善と予測における詳細な詳細生成、特に教師なし深度推定のためのCityscapesのような挑戦的なデータセットによって実証された、最先端のパフォーマンスを実証しています。

関連論文リスト

• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• DEHRFormer: Real-time Transformer for Depth Estimation and Haze Removal from Varicolored Haze Scenes [10.174140482558904]
  そこで本研究では,画像深度推定とヘイズ除去を同時に行うリアルタイムトランスフォーマを提案する。 DEHRFormerは1つのエンコーダと2つのタスク固有のデコーダで構成される。 対照的な学習とドメイン整合性学習を利用して、現実のデハジングにおける弱い一般化問題に取り組む新しい学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2023-03-13T07:47:18Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Monocular Depth Estimation for Semi-Transparent Volume Renderings [10.496309857650306]
  モノクル深度推定ネットワークは、現実世界のシーンではますます信頼性が増している。 本研究では,既存手法の単眼深度推定への適応が半透明ボリュームレンダリングにおいて良好であることを示す。
  論文  参考訳（メタデータ） (2022-06-27T13:18:02Z)
• Unsupervised Single-shot Depth Estimation using Perceptual Reconstruction [0.0]
  この研究は、生成ニューラルネットワークの分野における最新の進歩を示し、それらを活用して完全に教師なしの単発深度合成を行う。 RGB-to-deepthとdeep-to-RGB転送用の2つのジェネレータを実装し,Wasserstein-1距離と新しい知覚再構成項を用いて同時に最適化した。 本研究で得られた成果は、実世界のアプリケーションにおいて、教師なし単発深度推定の大きな可能性を示している。
  論文  参考訳（メタデータ） (2022-01-28T15:11:34Z)
• Occlusion-aware Unsupervised Learning of Depth from 4-D Light Fields [50.435129905215284]
  4次元光場処理と解析のための教師なし学習に基づく深度推定法を提案する。 光場データの特異な幾何学構造に関する基礎知識に基づいて,光場ビューのサブセット間の角度コヒーレンスを探索し,深度マップを推定する。 提案手法は,従来の手法と同等の精度で計算コストを低減した深度マップを作成できる。
  論文  参考訳（メタデータ） (2021-06-06T06:19:50Z)
• Function4D: Real-time Human Volumetric Capture from Very Sparse Consumer RGBD Sensors [67.88097893304274]
  時間的融合と深い暗黙機能を組み合わせた人間の体積捕獲法を提案する。 トポロジーの整合性とともに深度観測を融合する動的スライディングを提案する。
  論文  参考訳（メタデータ） (2021-05-05T04:12:38Z)
• Domain Adaptive Monocular Depth Estimation With Semantic Information [13.387521845596149]
  ドメインギャップを狭めるためにセマンティック情報を活用した対比トレーニングモデルを提案する。 提案したコンパクトモデルは,複雑な最新モデルに匹敵する最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-04-12T18:50:41Z)
• Unpaired Single-Image Depth Synthesis with cycle-consistent Wasserstein GANs [1.0499611180329802]
  実環境深度のリアルタイム推定は、様々な自律システムタスクにとって必須のモジュールである。 本研究では、生成型ニューラルネットワークの分野における最近の進歩を、教師なしの単一画像深度合成に活用する。
  論文  参考訳（メタデータ） (2021-03-31T09:43:38Z)
• DeFeat-Net: General Monocular Depth via Simultaneous Unsupervised Representation Learning [65.94499390875046]
  DeFeat-Netは、クロスドメインの高密度な特徴表現を同時に学習するアプローチである。 提案手法は, 誤差対策を全て10%程度減らすことで, 最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2020-03-30T13:10:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。