論文の概要: Depth Completion with Twin Surface Extrapolation at Occlusion Boundaries

• arxiv url: http://arxiv.org/abs/2104.02253v2
• Date: Wed, 7 Apr 2021 14:12:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 03:40:17.398242
• Title: Depth Completion with Twin Surface Extrapolation at Occlusion Boundaries
• Title（参考訳）: 咬合境界における双面外挿による深さ補完
• Authors: Saif Imran, Xiaoming Liu and Daniel Morris
• Abstract要約: 前景深度と背景深度の両方を明示的にモデル化するマルチ仮説深度表現を提案する。 この手法の鍵となるのは、新しい双曲面表現で機能する非対称損失関数の利用である。 メソッドを3つの異なるデータセットで検証します。
• 参考スコア（独自算出の注目度）: 16.773787000535645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Depth completion starts from a sparse set of known depth values and estimates the unknown depths for the remaining image pixels. Most methods model this as depth interpolation and erroneously interpolate depth pixels into the empty space between spatially distinct objects, resulting in depth-smearing across occlusion boundaries. Here we propose a multi-hypothesis depth representation that explicitly models both foreground and background depths in the difficult occlusion-boundary regions. Our method can be thought of as performing twin-surface extrapolation, rather than interpolation, in these regions. Next our method fuses these extrapolated surfaces into a single depth image leveraging the image data. Key to our method is the use of an asymmetric loss function that operates on a novel twin-surface representation. This enables us to train a network to simultaneously do surface extrapolation and surface fusion. We characterize our loss function and compare with other common losses. Finally, we validate our method on three different datasets; KITTI, an outdoor real-world dataset, NYU2, indoor real-world depth dataset and Virtual KITTI, a photo-realistic synthetic dataset with dense groundtruth, and demonstrate improvement over the state of the art.
• Abstract（参考訳）: 深さ完了は、既知の深さ値のスパースセットから始まり、残りの画像画素の未知の深さを推定する。 ほとんどの方法はこれを深度補間としてモデル化し、空間的に異なる物体の間の空の空間に深度画素を誤って補間し、閉塞境界を越えて深度スミアリングする。 本稿では,咬合境界領域において前景と背景深度の両方を明示的にモデル化するマルチハイポテーゼ深度表現を提案する。 本手法は,これらの地域では補間ではなく,2面外挿を行うと考えられる。 次に,これらの外挿した表面を画像データを利用した1つの深度画像に融合する。 この手法の鍵となるのは、新しい双曲面表現で機能する非対称損失関数の利用である。 これにより、表面補間と表面融合を同時に行うネットワークを訓練できる。 我々は損失関数を特徴付け、他の一般的な損失と比較する。 最後に,本手法を,屋外実世界のデータセットであるKITTI,屋内実世界の深度データセットであるNYU2,高密度基底構造を持つ写真リアルな合成データセットであるVirtual KITTIの3つの異なるデータセットで検証し,技術状況の改善を示す。

関連論文リスト

• Edge-preserving Near-light Photometric Stereo with Neural Surfaces [76.50065919656575]
  近光光度ステレオで解析的に微分可能なニューラルサーフェスを導入し、シャープ深度エッジでの微分誤差を回避する。 合成シーンと実世界のシーンの両方で実験を行い, エッジ保存による詳細な形状復元法の有効性を実証した。
  論文  参考訳（メタデータ） (2022-07-11T04:51:43Z)
• Edge-aware Bidirectional Diffusion for Dense Depth Estimation from Light Fields [31.941861222005603]
  本研究では,光場から深度エッジと勾配のスパースセットを用いて高速かつ正確な深度マップを推定するアルゴリズムを提案する。 提案手法は,テクスチャエッジよりも深度エッジの方が局所的制約に敏感であるという考え方に基づいている。
  論文  参考訳（メタデータ） (2021-07-07T01:26:25Z)
• Self-Guided Instance-Aware Network for Depth Completion and Enhancement [6.319531161477912]
  既存の手法では,画素ワイド画像の内容とそれに対応する近傍の深度値に基づいて,欠落した深度測定を直接補間する。 本稿では、自己誘導機構を利用して、深度復元に必要なインスタンスレベルの特徴を抽出する自己誘導型インスタンス認識ネットワーク(SG-IANet)を提案する。
  論文  参考訳（メタデータ） (2021-05-25T19:41:38Z)
• Efficient Depth Completion Using Learned Bases [94.0808155168311]
  深度補正のための新しい大域的幾何制約を提案する。 低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
  論文  参考訳（メタデータ） (2020-12-02T11:57:37Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)
• NeuralFusion: Online Depth Fusion in Latent Space [77.59420353185355]
  潜在特徴空間における深度マップアグリゲーションを学習する新しいオンライン深度マップ融合手法を提案する。 提案手法は,高騒音レベルを処理し,特に測光ステレオベース深度マップに共通する粗悪なアウトレージに対処できる。
  論文  参考訳（メタデータ） (2020-11-30T13:50:59Z)
• View-consistent 4D Light Field Depth Estimation [37.04038603184669]
  本研究では,光場内の各サブアパーチャ画像の深度マップを一貫したビューで計算する手法を提案する。 提案手法は,EPIを用いて深度エッジを正確に定義し,その辺を中央の視野内で空間的に拡散させる。
  論文  参考訳（メタデータ） (2020-09-09T01:47:34Z)
• Pixel-Pair Occlusion Relationship Map(P2ORM): Formulation, Inference & Application [20.63938300312815]
  2次元画像における幾何学的閉塞に関する概念(意味論を無視する)を定式化する。 本稿では, 画素対閉塞関係を用いて, 閉塞境界と閉塞方向の両方を統一的に定式化することを提案する。 各種データセットの実験により,本手法が既存の手法よりも優れていることが示された。 また,最新のモノクル深度推定法の性能を一貫して向上する新しい深度マップの改良手法を提案する。
  論文  参考訳（メタデータ） (2020-07-23T15:52:09Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• Depth Edge Guided CNNs for Sparse Depth Upsampling [18.659087667114274]
  ガイドされたスパース深度アップサンプリングは、アライメントされた高解像度カラー画像がガイダンスとして与えられるとき、不規則にサンプリングされたスパース深度マップをアップサンプリングすることを目的としている。 奥行き画像を用いたスパース・不規則深度画像から深度を復元するためのガイド付き畳み込み層を提案する。 実世界の屋内および合成屋外データセット上で,本手法を検証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2020-03-23T08:56:32Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。