論文の概要: OMNI-DC: Highly Robust Depth Completion with Multiresolution Depth Integration
- arxiv url: http://arxiv.org/abs/2411.19278v1
- Date: Thu, 28 Nov 2024 17:20:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:20:00.101693
- Title: OMNI-DC: Highly Robust Depth Completion with Multiresolution Depth Integration
- Title(参考訳): OMNI-DC:多分解能深度積分による高ロバスト深度補完
- Authors: Yiming Zuo, Willow Yang, Zeyu Ma, Jia Deng,
- Abstract要約: 深度完備化(DC)は、RGB画像から深度マップを推定し、スパース深度観測を行うことを目的としている。
既存のDCの手法は、新しいデータセットや未知のスパース深度パターンをうまく一般化する。
OMNI-DCは,様々なシナリオにまたがってよく一般化される,非常に堅牢なDCモデルである。
- 参考スコア(独自算出の注目度): 26.6801726990372
- License:
- Abstract: Depth completion (DC) aims to predict a dense depth map from an RGB image and sparse depth observations. Existing methods for DC generalize poorly on new datasets or unseen sparse depth patterns, limiting their practical applications. We propose OMNI-DC, a highly robust DC model that generalizes well across various scenarios. Our method incorporates a novel multi-resolution depth integration layer and a probability-based loss, enabling it to deal with sparse depth maps of varying densities. Moreover, we train OMNI-DC on a mixture of synthetic datasets with a scale normalization technique. To evaluate our model, we establish a new evaluation protocol named Robust-DC for zero-shot testing under various sparse depth patterns. Experimental results on Robust-DC and conventional benchmarks show that OMNI-DC significantly outperforms the previous state of the art. The checkpoints, training code, and evaluations are available at https://github.com/princeton-vl/OMNI-DC.
- Abstract(参考訳): 深度完備化(DC)は、RGB画像から深度マップを推定し、スパース深度観測を行うことを目的としている。
既存のDCの手法は、新しいデータセットやスパース深度パターンに乏しく、実用的応用を制限している。
OMNI-DCは,様々なシナリオにまたがってよく一般化される,非常に堅牢なDCモデルである。
提案手法は,新しい多分解能深度積分層と確率に基づく損失を取り入れ,様々な密度の疎度マップを扱えるようにした。
さらに,OMNI-DCを合成データセットとスケール正規化手法の混合で訓練する。
本モデルを評価するため,種々の疎深度パターン下でのゼロショットテストのためのRobost-DCという新しい評価プロトコルを構築した。
Robust-DCおよび従来のベンチマークによる実験結果から、OMNI-DCは従来の最先端技術よりも大幅に優れていた。
チェックポイント、トレーニングコード、評価はhttps://github.com/princeton-vl/OMNI-DCで確認できる。
関連論文リスト
- OGNI-DC: Robust Depth Completion with Optimization-Guided Neural Iterations [23.0962036039182]
OGNI(Optimization-Guided Neural Iterations)は深度補正のための新しいフレームワークである。
OGNI-DCは強力な一般化を示し、目に見えないデータセットのベースラインと、さまざまな空間レベルのベースラインを上回ります。
精度が高く、NYUv2とKITTIベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-06-17T16:30:29Z) - Learning Feature Inversion for Multi-class Anomaly Detection under General-purpose COCO-AD Benchmark [101.23684938489413]
異常検出(AD)は、しばしば産業品質検査や医学的病変検査のための異常の検出に焦点が当てられている。
この研究はまず、COCOをADフィールドに拡張することにより、大規模で汎用的なCOCO-ADデータセットを構築する。
セグメンテーション分野のメトリクスにインスパイアされた我々は、より実用的なしきい値に依存したAD固有のメトリクスをいくつか提案する。
論文 参考訳(メタデータ) (2024-04-16T17:38:26Z) - SparseDC: Depth Completion from sparse and non-uniform inputs [18.20396821395775]
我々はスパース深度入力と非一様深度入力の深度補完モデルであるスパースDCを提案する。
まず、スパース入力時のロバスト性を改善するため、SFFMと呼ばれる単純な戦略を設計する。
第2に,深度値の可能な領域の正確な局所的幾何と深度のない領域の正確な構造を予測できる2分岐機能埋め込み器を提案する。
論文 参考訳(メタデータ) (2023-11-30T13:36:27Z) - Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-08-18T13:13:09Z) - Monocular Visual-Inertial Depth Estimation [66.71452943981558]
単眼深度推定と視覚慣性計測を統合した視覚慣性深度推定パイプラインを提案する。
提案手法は, 疎度度に対する大域的スケールとシフトアライメントを行い, 続いて学習に基づく高密度アライメントを行う。
本研究では,TartanAir と VOID のデータセットを用いて,密集したスケールアライメントによるRMSE の最大30%の削減を観測した。
論文 参考訳(メタデータ) (2023-03-21T18:47:34Z) - Deep Combinatorial Aggregation [58.78692706974121]
ディープアンサンブル(Deep ensemble)は、不確実性を考慮した学習タスクの最先端結果を実現する、シンプルで効果的な方法である。
本研究では,ディープアグリゲーション(DCA)と呼ばれるディープアンサンブルの一般化について検討する。
DCAはネットワークコンポーネントの複数のインスタンスを生成し、それらの組み合わせを集約して、多様化したモデルの提案と予測を生成する。
論文 参考訳(メタデータ) (2022-10-12T17:35:03Z) - Towards Domain-agnostic Depth Completion [28.25756709062647]
既存の深度補完法は、しばしば特定のスパース深度型を目標とし、タスク領域をまたいだ一般化が不十分である。
各種センサで得られたスパース/セミデンス,ノイズ,および低分解能深度マップを完備する手法を提案する。
本手法は,最先端の深度補完法に対して優れたクロスドメイン一般化能力を示す。
論文 参考訳(メタデータ) (2022-07-29T04:10:22Z) - AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural
Networks [78.62086125399831]
本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。
AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。
AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
論文 参考訳(メタデータ) (2021-06-23T13:23:00Z) - Densely Nested Top-Down Flows for Salient Object Detection [137.74130900326833]
本稿では,物体検出におけるトップダウンモデリングの役割を再考する。
密度の高いトップダウンフロー(DNTDF)ベースのフレームワークを設計する。
DNTDFのすべての段階において、高いレベルの特徴はプログレッシブ圧縮ショートカットパス(PCSP)を介して読み込まれる。
論文 参考訳(メタデータ) (2021-02-18T03:14:02Z) - AdaBins: Depth Estimation using Adaptive Bins [43.07310038858445]
本稿では,画像毎の中心値が適応的に推定されるビンに深さ範囲を分割するトランスフォーマーアーキテクチャブロックを提案する。
以上の結果から,いくつかの一般的な深度データセットの最先端性に対する決定的な改善が得られた。
論文 参考訳(メタデータ) (2020-11-28T14:40:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。