論文の概要: Virtually Enriched NYU Depth V2 Dataset for Monocular Depth Estimation: Do We Need Artificial Augmentation?

• arxiv url: http://arxiv.org/abs/2404.09469v1
• Date: Mon, 15 Apr 2024 05:44:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 12:20:54.995659
• Title: Virtually Enriched NYU Depth V2 Dataset for Monocular Depth Estimation: Do We Need Artificial Augmentation?
• Title（参考訳）: 単眼深度推定のための仮想的に強化されたNYU深度V2データセット:人工拡張は必要か?
• Authors: Dmitry Ignatov, Andrey Ignatov, Radu Timofte,
• Abstract要約: 我々は、単眼深度推定のために設計された、ニューヨーク深度v2データセットの事実上拡張版であるANYUを紹介する。 仮想世界の完全な3Dシーンを利用して人工データセットを生成する、よく知られたアプローチとは対照的に、ANYUはバーチャルリアリティーオブジェクトのRGB-D表現を取り入れて作成された。 ANYUは,アーキテクチャがかなり異なるディープニューラルネットワークの単眼深度推定性能と一般化を改善したことを示す。
• 参考スコア（独自算出の注目度）: 61.234412062595155
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present ANYU, a new virtually augmented version of the NYU depth v2 dataset, designed for monocular depth estimation. In contrast to the well-known approach where full 3D scenes of a virtual world are utilized to generate artificial datasets, ANYU was created by incorporating RGB-D representations of virtual reality objects into the original NYU depth v2 images. We specifically did not match each generated virtual object with an appropriate texture and a suitable location within the real-world image. Instead, an assignment of texture, location, lighting, and other rendering parameters was randomized to maximize a diversity of the training data, and to show that it is randomness that can improve the generalizing ability of a dataset. By conducting extensive experiments with our virtually modified dataset and validating on the original NYU depth v2 and iBims-1 benchmarks, we show that ANYU improves the monocular depth estimation performance and generalization of deep neural networks with considerably different architectures, especially for the current state-of-the-art VPD model. To the best of our knowledge, this is the first work that augments a real-world dataset with randomly generated virtual 3D objects for monocular depth estimation. We make our ANYU dataset publicly available in two training configurations with 10% and 100% additional synthetically enriched RGB-D pairs of training images, respectively, for efficient training and empirical exploration of virtual augmentation at https://github.com/ABrain-One/ANYU
• Abstract（参考訳）: 単眼深度推定のために設計された,NYU 深度 v2 データセットの事実上拡張版である ANYU を提案する。 仮想世界の完全な3Dシーンを利用して人工的なデータセットを生成する、よく知られたアプローチとは対照的に、ANYUは、VRオブジェクトのRGB-D表現を元のNYUの深度v2画像に組み込むことによって作成された。 具体的には,各生成した仮想オブジェクトに適切なテクスチャと実際の画像内の適切な位置を一致させなかった。 代わりに、テクスチャ、位置、照明、その他のレンダリングパラメータの割り当てがランダム化され、トレーニングデータの多様性を最大化し、データセットの一般化能力を向上できるランダム性を示す。 実際に修正されたデータセットを用いて広範な実験を行い、元のNYU depth v2とiBims-1ベンチマークで検証することにより、ANYUは、特に最先端のVPDモデルにおいて、異なるアーキテクチャを持つディープニューラルネットワークの単眼深度推定性能と一般化を改善していることを示す。 私たちの知る限りでは、これはモノクロ深度推定のためにランダムに生成された仮想3Dオブジェクトで現実世界のデータセットを拡張する最初の作品です。 ANYUデータセットを10%と100%追加のRGB-Dペアのトレーニングイメージで2つのトレーニング構成で公開し、https://github.com/ABrain-One/ANYUで仮想拡張の効率的なトレーニングと実証的な探索を行う。

関連論文リスト

• Depth Estimation From Monocular Images With Enhanced Encoder-Decoder Architecture [0.0]
  本稿では,エンコーダデコーダアーキテクチャを用いた新しい深層学習手法を提案する。 Inception-ResNet-v2モデルはエンコーダとして利用される。 NYU Depth V2データセットの実験結果は、我々のモデルが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-15T13:46:19Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• NVDS+: Towards Efficient and Versatile Neural Stabilizer for Video Depth Estimation [58.21817572577012]
  ビデオ深度推定は時間的に一貫した深度を推定することを目的としている。 プラグ・アンド・プレイ方式で様々な単一画像モデルから推定される不整合深さを安定化するNVDS+を導入する。 このデータセットには、200万フレーム以上の14,203本のビデオが含まれている。
  論文  参考訳（メタデータ） (2023-07-17T17:57:01Z)
• RayMVSNet++: Learning Ray-based 1D Implicit Fields for Accurate Multi-View Stereo [21.209964556493368]
  RayMVSNetは、シーン深度を示すゼロクロスポイントを用いて、各カメラ線に沿った1次元暗黙フィールドの逐次予測を学習する。 RayMVSNet++はScanNetデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-07-16T02:10:47Z)
• Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention [1.332560004325655]
  我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。 異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。 提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-12-15T10:02:46Z)
• Sparse Depth Completion with Semantic Mesh Deformation Optimization [4.03103540543081]
  本稿では、RGB画像とスパース深度サンプルを入力とし、完全な深度マップを予測し、最適化後のニューラルネットワークを提案する。 評価結果は,屋内および屋外両方のデータセットにおいて,既存の成果を一貫して上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-10T13:01:06Z)
• Ground material classification and for UAV-based photogrammetric 3D data A 2D-3D Hybrid Approach [1.3359609092684614]
  近年,物理環境を表す3次元仮想データを作成するために,多くの領域でフォトグラム法が広く用いられている。 これらの最先端技術は、迅速な3D戦場再建、仮想訓練、シミュレーションを目的として、アメリカ陸軍と海軍の注意を引き付けている。
  論文  参考訳（メタデータ） (2021-09-24T22:29:26Z)
• 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
  大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。 まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。 次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。 第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
  論文  参考訳（メタデータ） (2021-04-06T02:22:24Z)
• Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
  オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。 再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。 本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
  論文  参考訳（メタデータ） (2021-03-30T17:57:01Z)
• Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction [87.08227378010874]
  深度予測における高次3次元幾何学的制約の重要性を示す。 単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。 The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
  論文  参考訳（メタデータ） (2021-03-07T00:08:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。