論文の概要: Decoder Modulation for Indoor Depth Completion
- arxiv url: http://arxiv.org/abs/2005.08607v2
- Date: Mon, 8 Feb 2021 08:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 23:59:30.278580
- Title: Decoder Modulation for Indoor Depth Completion
- Title（参考訳）: 室内深度完了のためのデコーダ変調
- Authors: Dmitry Senushkin, Mikhail Romanov, Ilia Belikov, Anton Konushin,
Nikolay Patakin
- Abstract要約: 深さの完了は、センサ測定から密度の深い深度マップを復元する。
現在の手法は主に、屋外環境でのLiDARからの非常にスパースな深度測定のために調整されている。
本稿では,これらの地域間の統計的差異を考慮した新しいモデルを提案する。
- 参考スコア（独自算出の注目度）: 2.099922236065961
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depth completion recovers a dense depth map from sensor measurements. Current
methods are mostly tailored for very sparse depth measurements from LiDARs in
outdoor settings, while for indoor scenes Time-of-Flight (ToF) or structured
light sensors are mostly used. These sensors provide semi-dense maps, with
dense measurements in some regions and almost empty in others. We propose a new
model that takes into account the statistical difference between such regions.
Our main contribution is a new decoder modulation branch added to the
encoder-decoder architecture. The encoder extracts features from the
concatenated RGB image and raw depth. Given the mask of missing values as
input, the proposed modulation branch controls the decoding of a dense depth
map from these features differently for different regions. This is implemented
by modifying the spatial distribution of output signals inside the decoder via
Spatially-Adaptive Denormalization (SPADE) blocks. Our second contribution is a
novel training strategy that allows us to train on a semi-dense sensor data
when the ground truth depth map is not available. Our model achieves the state
of the art results on indoor Matterport3D dataset. Being designed for
semi-dense input depth, our model is still competitive with LiDAR-oriented
approaches on the KITTI dataset. Our training strategy significantly improves
prediction quality with no dense ground truth available, as validated on the
NYUv2 dataset.
- Abstract（参考訳）: 深さ完了は、センサ測定から密度深度マップを復元する。
現在の手法は、屋外環境でのLiDARの細かな深度測定にほとんど適しており、屋内のシーンではTime-of-Flight (ToF) や構造化光センサーがほとんど使われている。
これらのセンサーは半密度の地図を提供し、一部の地域では密度を測り、他の地域ではほとんど空である。
このような地域間の統計的差異を考慮した新しいモデルを提案する。
私たちの主な貢献は、エンコーダ-デコーダアーキテクチャに追加された新しいデコーダ変調ブランチです。
エンコーダは、連結RGB画像と生深度から特徴を抽出する。
入力として欠落した値のマスクが与えられた場合、変調分岐はこれらの特徴から深度マップの復号を異なる領域で制御する。
これは、空間適応非正規化(spade)ブロックを介してデコーダ内の出力信号の空間分布を変更することで実装される。
第2のコントリビューションは,地上の真理深度マップが利用できない場合に,半深度センサデータのトレーニングを可能にする,新たなトレーニング戦略です。
本モデルは, 屋内matterport3dデータセットにおける技術結果の状態を実現できる。
半深度入力深度のために設計されているため,我々のモデルは,KITTIデータセット上でのLiDAR指向のアプローチと競合する。
我々のトレーニング戦略は、NYUv2データセットで検証されているように、高密度の地上真実を利用せずに予測品質を著しく改善する。
関連論文リスト
- SDformer: Efficient End-to-End Transformer for Depth Completion [5.864200786548098]
深度完了は、深度センサからの疎度測定で深度マップを予測することを目的としている。
現在、畳み込みニューラルネットワーク(CNN)ベースのモデルは、深度補完タスクに適用される最も一般的な手法である。
CNNの欠点を克服するため、適応型自己アテンション設定シーケンス・ツー・シーケンスモデルである、より効果的で強力な手法が提案されている。
論文 参考訳（メタデータ） (2024-09-12T15:52:08Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - LiDAR Meta Depth Completion [47.99004789132264]
本稿では,データパターンを用いてタスクネットワークを学習し,与えられた深度完了タスクを効果的に解決するメタ深度補完ネットワークを提案する。
一つのモデルを用いて、異なるLiDARパターンで訓練された非適応ベースラインよりも、はるかに優れた結果が得られる。
これらの利点は、異なるセンサーに単一の深度補完モデルの柔軟な展開を可能にする。
論文 参考訳（メタデータ） (2023-07-24T13:05:36Z) - UnLoc: A Universal Localization Method for Autonomous Vehicles using
LiDAR, Radar and/or Camera Input [51.150605800173366]
UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。
本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
論文 参考訳（メタデータ） (2023-07-03T04:10:55Z) - HiMODE: A Hybrid Monocular Omnidirectional Depth Estimation Model [3.5290359800552946]
HiMODE は CNN+ Transformer アーキテクチャに基づく新しい単分子全方位深度推定モデルである。
360deg単分子深度推定において,HiMODEは最先端の性能を実現することができることを示す。
論文 参考訳（メタデータ） (2022-04-11T11:11:43Z) - Neural RF SLAM for unsupervised positioning and mapping with channel
state information [51.484516640867525]
アイソメトリによるユーザ位置と環境マッピングを共同で学習するニューラルネットワークアーキテクチャを提案する。
提案モデルでは,物理ベースのデコーダを適用すれば,解釈可能な潜在能力,すなわちユーザ位置を学習できる。
論文 参考訳（メタデータ） (2022-03-15T21:32:44Z) - Consistent Depth Prediction under Various Illuminations using Dilated
Cross Attention [1.332560004325655]
我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。
異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。
提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
論文 参考訳（メタデータ） (2021-12-15T10:02:46Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳（メタデータ） (2021-03-30T21:22:26Z) - CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth [83.77839773394106]
本稿では,軽量で密結合の深い深度ネットワークと視覚慣性オドメトリーシステムを提案する。
我々は、初期深度予測の精度を高めるために、以前にVIOから切り離されたスパース特徴を持つネットワークを提供する。
本稿では,ネットワークとコードヤコビアンでのみGPUアクセラレーションを活用しながら,シングルスレッド実行でリアルタイムに動作可能であることを示す。
論文 参考訳（メタデータ） (2020-12-18T09:42:54Z) - Project to Adapt: Domain Adaptation for Depth Completion from Noisy and
Sparse Sensor Data [26.050220048154596]
実領域や追加センサにアノテーションを付加することなく,合成データから学習した疎深度補完のためのドメイン適応手法を提案する。
提案手法は,RGB+LiDARセットアップにおける実センサノイズをシミュレートし,合成ドメイン内の実LiDAR入力を投影によりシミュレーションし,実雑音LiDARをフィルタリングし,CycleGANアプローチを用いて合成RGB画像に適応する3つのモジュールからなる。
論文 参考訳（メタデータ） (2020-08-03T17:21:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。