論文の概要: RigNet: Repetitive Image Guided Network for Depth Completion
- arxiv url: http://arxiv.org/abs/2107.13802v1
- Date: Thu, 29 Jul 2021 08:00:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-30 13:16:47.809372
- Title: RigNet: Repetitive Image Guided Network for Depth Completion
- Title（参考訳）: rignet: 奥行き完了のための反復画像誘導ネットワーク
- Authors: Zhiqiang Yan and Kun Wang and Xiang Li and Zhenyu Zhang and Baobei Xu
and Jun Li and Jian Yang
- Abstract要約: 近年のアプローチは、高密度な結果を予測するためのイメージガイド学習に重点を置いている。
ぼやけたイメージガイダンスとオブジェクト構造は、まだイメージガイドされたフレームワークのパフォーマンスを妨げている。
画像案内ネットワークにおける反復的な設計を探索し,徐々に深度値の回復を図る。
提案手法は,NYUv2データセットの最先端化を実現し,提出時のKITTIベンチマークで1位にランクインする。
- 参考スコア（独自算出の注目度）: 20.66405067066299
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depth completion deals with the problem of recovering dense depth maps from
sparse ones, where color images are often used to facilitate this completion.
Recent approaches mainly focus on image guided learning to predict dense
results. However, blurry image guidance and object structures in depth still
impede the performance of image guided frameworks. To tackle these problems, we
explore a repetitive design in our image guided network to sufficiently and
gradually recover depth values. Specifically, the repetition is embodied in a
color image guidance branch and a depth generation branch. In the former
branch, we design a repetitive hourglass network to extract higher-level image
features of complex environments, which can provide powerful context guidance
for depth prediction. In the latter branch, we design a repetitive guidance
module based on dynamic convolution where the convolution factorization is
applied to simultaneously reduce its complexity and progressively model
high-frequency structures, e.g., boundaries. Further, in this module, we
propose an adaptive fusion mechanism to effectively aggregate multi-step depth
features. Extensive experiments show that our method achieves state-of-the-art
result on the NYUv2 dataset and ranks 1st on the KITTI benchmark at the time of
submission.
- Abstract（参考訳）: 深度完備化は、この完成を促進するために色画像がしばしば使用されるスパースマップから深度マップを復元する問題を扱う。
近年のアプローチは主に画像誘導学習に焦点をあてて密集した結果を予測している。
しかし、ぼやけた画像誘導やオブジェクト構造は依然として画像案内フレームワークのパフォーマンスを妨げている。
これらの課題に対処するため,画像案内ネットワークにおける繰り返し設計を探索し,十分な深度値の復元を行う。
具体的には、カラー画像誘導枝及び深度生成枝に繰り返しを具現化する。
前者のブランチでは、複雑な環境の高次特徴を抽出する反復型時間ガラスネットワークを設計し、深度予測のための強力なコンテキストガイダンスを提供する。
後者では,動的畳み込みに基づく反復的誘導モジュールを設計し,畳み込み因子分解を適用してその複雑性を低減し,例えば境界などの高周波構造を漸進的にモデル化する。
さらに,本モジュールでは,多段深度特徴を効果的に集約する適応融合機構を提案する。
大規模な実験により,提案手法はNYUv2データセットの最先端化を実現し,提案時のKITTIベンチマークで1位となった。
関連論文リスト
- Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
画素レベルの画像・マルチビュー生成のための新しい手法を提案する。
従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。
本モデルにより,マルチビュー画像間の画素アライメントが向上する。
論文 参考訳（メタデータ） (2024-08-26T04:56:41Z) - Mask-adaptive Gated Convolution and Bi-directional Progressive Fusion
Network for Depth Completion [3.8558637038709622]
エンコーダ・デコーダ構造に基づく深度補完のための新しいモデルを提案する。
本モデルでは,マスク適応型Gated Convolutionアーキテクチャと双方向プログレッシブフュージョンモジュールの2つの重要なコンポーネントを紹介する。
深度マップの完成と既存手法の精度と信頼性に優れる性能を実現した。
論文 参考訳（メタデータ） (2024-01-15T02:58:06Z) - AugUndo: Scaling Up Augmentations for Monocular Depth Completion and Estimation [51.143540967290114]
本研究では,教師なし深度計算と推定のために,従来不可能であった幾何拡張の幅広い範囲をアンロックする手法を提案する。
これは、出力深さの座標への幾何変換を反転、あるいはアンドウイング(undo''-ing)し、深度マップを元の参照フレームに戻すことで達成される。
論文 参考訳（メタデータ） (2023-10-15T05:15:45Z) - RigNet++: Semantic Assisted Repetitive Image Guided Network for Depth
Completion [31.70022495622075]
画像案内ネットワークにおける繰り返し設計を探索し、徐々に十分に深度を復元する。
前者では,複雑な環境の識別画像の特徴を抽出するために,高密度繰り返し時間ガラスネットワーク(DRHN)を設計する。
後者では,動的畳み込みに基づく反復誘導(RG)モジュールを提案する。
さらに,領域認識型空間伝搬ネットワーク(RASPN)を提案する。
論文 参考訳（メタデータ） (2023-09-01T09:11:20Z) - Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal
Fusion with Depth Guidance [49.94504248096527]
異なるモードの特徴表現をモデル化するためのDGONet(Depth-Guided Outpainting Network)を提案する。
1)マルチモーダル学習モジュールは、異なるモーダル特性の観点から独自の深さとRGBの特徴表現を生成する。
我々は、不明瞭な輪郭を増進し、信頼性の高いコンテンツ生成を迅速化するために、クロスモーダルロスとエッジロスからなる追加の制約戦略を特別に設計する。
論文 参考訳（メタデータ） (2022-04-12T06:06:50Z) - High-resolution Depth Maps Imaging via Attention-based Hierarchical
Multi-modal Fusion [84.24973877109181]
誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。
本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-04T03:28:33Z) - FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for
Monocular Depth Completion [15.01291779855834]
最近のアプローチは、主に1段階のエンドツーエンドの学習タスクとして深さの完成を定式化します。
深度完了を2段階学習タスクとして定式化する,新しいエンドツーエンドの残留学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-12-15T13:09:56Z) - Progressively Guided Alternate Refinement Network for RGB-D Salient
Object Detection [63.18846475183332]
我々は,RGB-Dの高次物体検出のための効率的かつコンパクトなディープネットワークを開発することを目指している。
そこで本研究では,改良のための改良ネットワークを提案する。
我々のモデルは、既存の最先端のアプローチよりも大きなマージンで優れています。
論文 参考訳（メタデータ） (2020-08-17T02:55:06Z) - Depth Edge Guided CNNs for Sparse Depth Upsampling [18.659087667114274]
ガイドされたスパース深度アップサンプリングは、アライメントされた高解像度カラー画像がガイダンスとして与えられるとき、不規則にサンプリングされたスパース深度マップをアップサンプリングすることを目的としている。
奥行き画像を用いたスパース・不規則深度画像から深度を復元するためのガイド付き畳み込み層を提案する。
実世界の屋内および合成屋外データセット上で,本手法を検証するための総合的な実験を行った。
論文 参考訳（メタデータ） (2020-03-23T08:56:32Z) - Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。
この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。
我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文 参考訳（メタデータ） (2020-01-21T21:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。