論文の概要: DS-Depth: Dynamic and Static Depth Estimation via a Fusion Cost Volume
- arxiv url: http://arxiv.org/abs/2308.07225v1
- Date: Mon, 14 Aug 2023 15:57:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 12:38:03.286861
- Title: DS-Depth: Dynamic and Static Depth Estimation via a Fusion Cost Volume
- Title（参考訳）: DS深度:核融合コストによる動的および静的深さ推定
- Authors: Xingyu Miao, Yang Bai, Haoran Duan, Yawen Huang, Fan Wan, Xinxing Xu,
Yang Long, Yefeng Zheng
- Abstract要約: 移動物体を記述するために残留光流を利用する新しい動的コスト容積を提案する。
その結果,本モデルは自己教師付き単分子深度推定の基準線よりも優れていた。
- 参考スコア（独自算出の注目度）: 26.990400985745786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised monocular depth estimation methods typically rely on the
reprojection error to capture geometric relationships between successive frames
in static environments. However, this assumption does not hold in dynamic
objects in scenarios, leading to errors during the view synthesis stage, such
as feature mismatch and occlusion, which can significantly reduce the accuracy
of the generated depth maps. To address this problem, we propose a novel
dynamic cost volume that exploits residual optical flow to describe moving
objects, improving incorrectly occluded regions in static cost volumes used in
previous work. Nevertheless, the dynamic cost volume inevitably generates extra
occlusions and noise, thus we alleviate this by designing a fusion module that
makes static and dynamic cost volumes compensate for each other. In other
words, occlusion from the static volume is refined by the dynamic volume, and
incorrect information from the dynamic volume is eliminated by the static
volume. Furthermore, we propose a pyramid distillation loss to reduce
photometric error inaccuracy at low resolutions and an adaptive photometric
error loss to alleviate the flow direction of the large gradient in the
occlusion regions. We conducted extensive experiments on the KITTI and
Cityscapes datasets, and the results demonstrate that our model outperforms
previously published baselines for self-supervised monocular depth estimation.
- Abstract（参考訳）: 自己教師付き単眼深度推定法は通常、静的環境における連続するフレーム間の幾何学的関係を捉えるために再射誤差に依存する。
しかし、この仮定はシナリオ内の動的オブジェクトには当てはまらないため、特徴ミスマッチや閉塞といったビュー合成の段階でエラーが発生し、それによって生成された深度マップの精度が大幅に低下する。
この問題に対処するために,移動物体を記述するために残留光学的フローを利用する新しい動的コストボリュームを提案し,前回の作業で使用した静的コストボリュームにおいて,不正に排除された領域を改善した。
それでも動的コストボリュームは必然的に余分なオクルージョンとノイズを発生させるため、静的および動的コストボリュームを相互に補償する融合モジュールを設計することにより、これを軽減します。
言い換えると、静的ボリュームからの閉塞はダイナミックボリュームによって洗練され、静的ボリュームによって動的ボリュームからの誤情報が排除される。
さらに,低分解能領域における光度誤差の精度を低下させるピラミッド蒸留損失と,オクルージョン領域における大きな勾配の流れ方向を緩和する適応光度誤差損失を提案する。
我々は,kittiおよびcityscapesデータセットの広範な実験を行い,本モデルが自己教師付き単眼深度推定のベースラインよりも優れていることを示した。
関連論文リスト
- ProDepth: Boosting Self-Supervised Multi-Frame Monocular Depth with Probabilistic Fusion [17.448021191744285]
多フレーム単分子深度推定は、静的シーンの仮定の下で連続するフレーム間の幾何的整合性に依存する。
動的シーンにおける移動物体の存在は必然的に不整合を引き起こし、トレーニング中に複数のフレームの特徴マッチングと誤解を招く。
本稿では,確率論的アプローチを用いて動的オブジェクトによるミスマッチ問題に効果的に対処するProDepthという新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-12T14:37:49Z) - Simultaneous Map and Object Reconstruction [66.66729715211642]
本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。
我々は、最近の新しいビュー合成法から着想を得て、大域的な最適化として再構築問題を提起する。
連続動作の慎重なモデリングにより, 回転するLiDARセンサの回転シャッター効果を補うことができる。
論文 参考訳（メタデータ） (2024-06-19T23:53:31Z) - FlowDepth: Decoupling Optical Flow for Self-Supervised Monocular Depth Estimation [8.78717459496649]
本稿では,ダイナミックモーションフローモジュール (DMFM) が機構ベースのアプローチで光学フローを分離し,動的領域をワープし,ミスマッチ問題を解くフローDepthを提案する。
高フレック領域と低テクスチャ領域による光度誤差の不公平性については,入力と損失レベルでそれぞれDepth-Cue-Aware Blur(DCABlur)とCost-Volumeの空間損失を用いて解決する。
論文 参考訳（メタデータ） (2024-03-28T10:31:23Z) - Dynamic Addition of Noise in a Diffusion Model for Anomaly Detection [2.209921757303168]
拡散モデルは、名目データ分布を捕捉し、再構成を通して異常を識別することで、異常検出に有用な応用を見出した。
それらの利点にもかかわらず、彼らは様々なスケールの異常、特に欠落した成分全体のような大きな異常をローカライズするのに苦労している。
本稿では,従来の暗黙的条件付け手法であるメングらを拡張し,拡散モデルの能力を高める新しい枠組みを提案する。
2022年は3つの重要な意味を持つ。
論文 参考訳（メタデータ） (2024-01-09T09:57:38Z) - DDN-SLAM: Real-time Dense Dynamic Neural Implicit SLAM [5.267859554944985]
DDN-SLAMは,意味的特徴を統合した最初のリアルタイム高密度ニューラルネットワーク暗黙的SLAMシステムである。
既存の暗黙的SLAMシステムと比較して、動的データセットの追跡結果は平均軌道誤差(ATE)の精度が平均90%向上していることを示している。
論文 参考訳（メタデータ） (2024-01-03T05:42:17Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳（メタデータ） (2023-05-17T13:56:48Z) - Robust Dynamic Radiance Fields [79.43526586134163]
動的放射場再構成法は動的シーンの時間変化構造と外観をモデル化することを目的としている。
しかし、既存の手法では、正確なカメラポーズをStructure from Motion (SfM)アルゴリズムによって確実に推定できると仮定している。
カメラパラメータとともに静的および動的放射場を共同で推定することにより、このロバスト性問題に対処する。
論文 参考訳（メタデータ） (2023-01-05T18:59:51Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳（メタデータ） (2022-11-07T16:17:47Z) - Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular
Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
教師なし単眼深度と自我運動推定は近年広く研究されている。
我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。
我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
論文 参考訳（メタデータ） (2022-07-11T07:50:22Z) - Physics Informed Neural Fields for Smoke Reconstruction with Sparse Data [73.8970871148949]
まばらなマルチビューRGBビデオから流体を高忠実に再現することは、まだまだ難しい課題だ。
既存のソリューションは、障害物や照明に関する知識を前提とするか、障害物や複雑な照明のない単純な流体シーンのみに焦点を当てる。
本稿では, 制御物理(Navier-Stokes方程式)をエンドツーエンドの最適化で活用することにより, 動的流体を再構築する最初の方法を提案する。
論文 参考訳（メタデータ） (2022-06-14T03:38:08Z) - Disentangling Object Motion and Occlusion for Unsupervised Multi-frame
Monocular Depth [37.021579239596164]
既存の動的対象に焦点をあてた手法は、トレーニング損失レベルのミスマッチ問題を部分的に解決しただけである。
本稿では,これらの問題を予測レベルと監督損失レベルの両方で解くために,新しい多フレーム単眼深度予測法を提案する。
我々の手法はDynamicDepthと呼ばれ、自己教師付きサイクル一貫性学習スキームによって訓練された新しいフレームワークである。
論文 参考訳（メタデータ） (2022-03-29T01:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。