論文の概要: Monocular Depth Estimation Using Cues Inspired by Biological Vision Systems

• arxiv url: http://arxiv.org/abs/2204.10384v1
• Date: Thu, 21 Apr 2022 19:42:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-25 13:49:40.702433
• Title: Monocular Depth Estimation Using Cues Inspired by Biological Vision Systems
• Title（参考訳）: 生体視覚システムにヒントを得たキューを用いた単眼深度推定
• Authors: Dylan Auty, Krystian Mikolajczyk
• Abstract要約: 単眼深度推定(MDE)は、シーンのRGB画像を同じカメラビューから画素幅の深度マップに変換することを目的としている。 MDEタスクの一部は、画像内のどの視覚的手がかりを深度推定に使用できるか、どのように使うかを学ぶことである。 モデルに視覚的キュー情報を明示的に注入することは深度推定に有用であることを示す。
• 参考スコア（独自算出の注目度）: 22.539300644593936
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Monocular depth estimation (MDE) aims to transform an RGB image of a scene into a pixelwise depth map from the same camera view. It is fundamentally ill-posed due to missing information: any single image can have been taken from many possible 3D scenes. Part of the MDE task is, therefore, to learn which visual cues in the image can be used for depth estimation, and how. With training data limited by cost of annotation or network capacity limited by computational power, this is challenging. In this work we demonstrate that explicitly injecting visual cue information into the model is beneficial for depth estimation. Following research into biological vision systems, we focus on semantic information and prior knowledge of object sizes and their relations, to emulate the biological cues of relative size, familiar size, and absolute size. We use state-of-the-art semantic and instance segmentation models to provide external information, and exploit language embeddings to encode relational information between classes. We also provide a prior on the average real-world size of objects. This external information overcomes the limitation in data availability, and ensures that the limited capacity of a given network is focused on known-helpful cues, therefore improving performance. We experimentally validate our hypothesis and evaluate the proposed model on the widely used NYUD2 indoor depth estimation benchmark. The results show improvements in depth prediction when the semantic information, size prior and instance size are explicitly provided along with the RGB images, and our method can be easily adapted to any depth estimation system.
• Abstract（参考訳）: 単眼深度推定(MDE)は、シーンのRGB画像を同じカメラビューから画素幅の深度マップに変換することを目的としている。 情報は欠落しており、あらゆる画像が3dシーンから撮影された可能性がある。 したがって、mdeタスクの一部は、画像内のどの視覚手がかりを深度推定に使用できるか、どのように使うかを学ぶことである。 トレーニングデータはアノテーションのコストや計算能力によって制限されるネットワーク容量によって制限されるため、これは難しい。 本研究では,視覚的キュー情報をモデルに明示的に注入することが深度推定に有用であることを示す。 生体視覚システムの研究の後、相対的な大きさ、親しみやすいサイズ、絶対的な大きさの生物学的手がかりをエミュレートするために、意味情報と物体の大きさとその関係に関する事前知識に焦点を当てた。 我々は最先端のセマンティクスモデルとインスタンスセグメンテーションモデルを用いて外部情報を提供し、言語埋め込みを利用してクラス間の関係情報をエンコードする。 また、オブジェクトの平均実世界サイズに関する事前情報も提供しています。 この外部情報は、データ可用性の制限を克服し、所定のネットワークの容量が既知の助けとなるヒントに焦点を当てていることを保証するため、パフォーマンスが向上する。 本仮説を実験的に検証し,広く用いられているnyud2室内深度推定ベンチマークを用いて,提案モデルの評価を行った。 その結果,RGB画像とともに意味情報,サイズ,インスタンスサイズが明示的に提供される場合の深度予測の精度が向上し,どの深度推定システムにも容易に適用できることがわかった。

関連論文リスト

• ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
  本研究では,新しい単分子深度推定法であるScaleDepthを提案する。 提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。 本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
  論文  参考訳（メタデータ） (2024-07-11T05:11:56Z)
• Depth Insight -- Contribution of Different Features to Indoor Single-image Depth Estimation [8.712751056826283]
  単分子深度推定設定において、既知の深さのキューの相対的寄与を定量化する。 本研究は, 形状, テクスチャ, 色, 彩度の単一特徴を分離して, 深度を推定するために, 特徴抽出技術を用いた。
  論文  参考訳（メタデータ） (2023-11-16T17:38:21Z)
• Self-Supervised Learning based Depth Estimation from Monocular Images [0.0]
  単色深度推定の目標は、入力として2次元単色RGB画像が与えられた深度マップを予測することである。 我々は、トレーニング中に固有のカメラパラメータを実行し、我々のモデルをさらに一般化するために天気増悪を適用することを計画している。
  論文  参考訳（メタデータ） (2023-04-14T07:14:08Z)
• Visual Attention-based Self-supervised Absolute Depth Estimation using Geometric Priors in Autonomous Driving [8.045833295463094]
  空間的注意とチャネルの注意をすべてのステージに適用する,完全に視覚的注意に基づく奥行き(VADepth)ネットワークを導入する。 VADepthネットワークは、空間的およびチャネル的次元に沿った特徴の依存関係を長距離にわたって連続的に抽出することにより、重要な詳細を効果的に保存することができる。 KITTIデータセットの実験結果は、このアーキテクチャが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2022-05-18T08:01:38Z)
• Self-Supervised Monocular Depth Estimation with Internal Feature Fusion [12.874712571149725]
  深度推定のための自己教師付き学習は、画像列の幾何学を用いて監督する。 そこで本研究では,ダウンおよびアップサンプリングの手順で意味情報を利用することのできる,新しい深度推定ネットワークDIFFNetを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:31:11Z)
• Towards Interpretable Deep Networks for Monocular Depth Estimation [78.84690613778739]
  我々は,深部MDEネットワークの解釈可能性について,その隠蔽ユニットの深さ選択性を用いて定量化する。 本稿では,解釈可能なMDE深層ネットワークを,元のアーキテクチャを変更することなく学習する手法を提案する。 実験により,本手法は深部MDEネットワークの解釈可能性を向上させることができることが示された。
  論文  参考訳（メタデータ） (2021-08-11T16:43:45Z)
• Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
  3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。 双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。 本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
  論文  参考訳（メタデータ） (2021-07-29T16:30:33Z)
• DONet: Learning Category-Level 6D Object Pose and Size Estimation from Depth Observation [53.55300278592281]
  単一深度画像からカテゴリレベルの6次元オブジェクト・ポースとサイズ推定(COPSE)を提案する。 筆者らのフレームワークは,深度チャネルのみの物体のリッチな幾何学的情報に基づいて推論を行う。 我々のフレームワークは、ラベル付き現実世界の画像を必要とする最先端のアプローチと競合する。
  論文  参考訳（メタデータ） (2021-06-27T10:41:50Z)
• S2R-DepthNet: Learning a Generalizable Depth-specific Structural Representation [63.58891781246175]
  人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。 我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。 当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
  論文  参考訳（メタデータ） (2021-04-02T03:55:41Z)
• Predicting Relative Depth between Objects from Semantic Features [2.127049691404299]
  2D画像に描かれた物体の3D深度は、そのような特徴の一つです。 この領域における技術の現状は、ステレオ画像データに基づいて訓練された複雑なニューラルネットワークモデルであり、ピクセルごとの深さを予測する。 モノディープスモデルから計算した相対深度に対する相対深度精度の14%の総合的な増加が達成された。
  論文  参考訳（メタデータ） (2021-01-12T17:28:23Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。