論文の概要: Multi-resolution Monocular Depth Map Fusion by Self-supervised
Gradient-based Composition
- arxiv url: http://arxiv.org/abs/2212.01538v1
- Date: Sat, 3 Dec 2022 05:13:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 16:57:09.349933
- Title: Multi-resolution Monocular Depth Map Fusion by Self-supervised
Gradient-based Composition
- Title（参考訳）: 自己教師型勾配合成による多分解能単分子深度マップ融合
- Authors: Yaqiao Dai, Renjiao Yi, Chenyang Zhu, Hongjun He and Kai Xu
- Abstract要約: 推定の利点を多分解能入力と組み合わせた新しい深度マップ融合モジュールを提案する。
我々の軽量深度核融合は1ショットでリアルタイムに動作し、最先端の深度核融合法よりも80倍高速である。
- 参考スコア（独自算出の注目度）: 14.246972408737987
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monocular depth estimation is a challenging problem on which deep neural
networks have demonstrated great potential. However, depth maps predicted by
existing deep models usually lack fine-grained details due to the convolution
operations and the down-samplings in networks. We find that increasing input
resolution is helpful to preserve more local details while the estimation at
low resolution is more accurate globally. Therefore, we propose a novel depth
map fusion module to combine the advantages of estimations with
multi-resolution inputs. Instead of merging the low- and high-resolution
estimations equally, we adopt the core idea of Poisson fusion, trying to
implant the gradient domain of high-resolution depth into the low-resolution
depth. While classic Poisson fusion requires a fusion mask as supervision, we
propose a self-supervised framework based on guided image filtering. We
demonstrate that this gradient-based composition performs much better at noisy
immunity, compared with the state-of-the-art depth map fusion method. Our
lightweight depth fusion is one-shot and runs in real-time, making our method
80X faster than a state-of-the-art depth fusion method. Quantitative
evaluations demonstrate that the proposed method can be integrated into many
fully convolutional monocular depth estimation backbones with a significant
performance boost, leading to state-of-the-art results of detail enhancement on
depth maps.
- Abstract（参考訳）: 単眼深度推定は、ディープニューラルネットワークが大きな可能性を証明した難しい問題である。
しかしながら、既存の深層モデルによって予測される深層マップは、畳み込み操作とネットワークのダウンサンプリングのため、通常は細かな詳細を欠いている。
入力解像度の増大は局所的な情報保存に役立つが,低解像度での推定は世界規模でより正確である。
そこで本研究では,マルチレゾリューション入力と推定の利点を組み合わせた新しい深度マップ融合モジュールを提案する。
低分解能および高分解能推定を等しく融合させる代わりに、ポアソン融合のコアアイデアを採用し、高分解能深さの勾配領域を低分解能深さに埋め込もうとする。
古典的なポアソン・フュージョンではフュージョンマスクを監督する必要があるが、ガイド画像フィルタリングに基づく自己監視フレームワークを提案する。
この勾配に基づく組成は,最先端の深度マップ融合法に比べ,ノイズ耐性に優れることが示された。
軽量な奥行き融合はワンショットでリアルタイムに動作し,最先端の奥行き融合法よりも80倍高速である。
定量的評価により,提案手法は,多くの完全畳み込み単眼深度推定バックボーンに統合でき,その性能向上が期待できることがわかった。
関連論文リスト
- Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging
Scenarios [103.72094710263656]
本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。
本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。
得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
論文 参考訳（メタデータ） (2024-02-19T04:39:16Z) - V-FUSE: Volumetric Depth Map Fusion with Long-Range Constraints [6.7197802356130465]
本稿では,Multi-View Stereo(MVS)アルゴリズムによって生成された深度マップと信頼マップのセットを入力として受け入れ,改良する学習ベースの深度マップ融合フレームワークを提案する。
また、各線に沿った深度仮説探索空間を減らすために、より大きな融合サブネットワークと共に訓練された深度探索ウィンドウ推定サブネットワークを導入する。
本手法は,データから直接,深度コンセンサスと可視性制約の違反をモデル化することを学ぶ。
論文 参考訳（メタデータ） (2023-08-17T00:39:56Z) - Improving Monocular Visual Odometry Using Learned Depth [84.05081552443693]
単眼深度推定を応用して視力計測(VO)を改善する枠組みを提案する。
我々のフレームワークの中核は、多様なシーンに対して強力な一般化能力を持つ単眼深度推定モジュールである。
現在の学習型VO法と比較して,本手法は多様なシーンに対してより強力な一般化能力を示す。
論文 参考訳（メタデータ） (2022-04-04T06:26:46Z) - Boosting Monocular Depth Estimation Models to High-Resolution via
Content-Adaptive Multi-Resolution Merging [14.279471205248534]
本研究では,一貫したシーン構造と高周波の詳細が深度推定性能に与える影響を示す。
本稿では,画像全体の深さ推定を改善する二重推定法と,局所的な詳細を付加するパッチ選択法を提案する。
異なる解像度での推定とコンテキストの変化を組み合わせることで、高精細度でマルチメガピクセルの深度マップを作成できることを実証した。
論文 参考訳（メタデータ） (2021-05-28T17:55:15Z) - Towards Unpaired Depth Enhancement and Super-Resolution in the Wild [121.96527719530305]
最先端のデータ駆動による深度マップの超解像法は、同じシーンの低解像度と高解像度の深度マップの登録ペアに依存している。
未経験データからの学習に基づく深度マップの強化について考察する。
論文 参考訳（メタデータ） (2021-05-25T16:19:16Z) - FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for
Monocular Depth Completion [15.01291779855834]
最近のアプローチは、主に1段階のエンドツーエンドの学習タスクとして深さの完成を定式化します。
深度完了を2段階学習タスクとして定式化する,新しいエンドツーエンドの残留学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-12-15T13:09:56Z) - HR-Depth: High Resolution Self-Supervised Monocular Depth Estimation [14.81943833870932]
本稿では,2つの効果的な戦略を持つ改良DepthNet,HR-Depthを提案する。
resnet-18をエンコーダとして使用すると、hr-depthは、高解像度と低解像度の両方で最小パラマエターを持つ、以前の最先端(sota)メソッドをすべて上回る。
論文 参考訳（メタデータ） (2020-12-14T09:15:15Z) - Efficient Depth Completion Using Learned Bases [94.0808155168311]
深度補正のための新しい大域的幾何制約を提案する。
低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
論文 参考訳（メタデータ） (2020-12-02T11:57:37Z) - Balanced Depth Completion between Dense Depth Inference and Sparse Range
Measurements via KISS-GP [14.158132769768578]
密集した正確な深度マップを推定することは、自動運転とロボット工学にとって重要な要件である。
近年のディープラーニングの進歩により、単一の画像から全解像度での深度推定が可能になった。
この驚くべき結果にもかかわらず、多くのディープラーニングベースの単眼深度推定アルゴリズムは、その精度をメーターレベルの推定誤差に保たない。
論文 参考訳（メタデータ） (2020-08-12T08:07:55Z) - RoutedFusion: Learning Real-time Depth Map Fusion [73.0378509030908]
深度マップ融合のための新しいリアルタイム能動機械学習手法を提案する。
本稿では,通常の核融合エラーを考慮に入れた非線形更新を予測できるニューラルネットワークを提案する。
本ネットワークは2次元深度ルーティングネットワークと3次元深度融合ネットワークから構成されており,センサ固有のノイズや外れ値の処理を効率的に行う。
論文 参考訳（メタデータ） (2020-01-13T16:46:41Z) - Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。
モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。
提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
論文 参考訳（メタデータ） (2019-12-30T10:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。