論文の概要: FlowDepth: Decoupling Optical Flow for Self-Supervised Monocular Depth Estimation
- arxiv url: http://arxiv.org/abs/2403.19294v1
- Date: Thu, 28 Mar 2024 10:31:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 16:43:33.375516
- Title: FlowDepth: Decoupling Optical Flow for Self-Supervised Monocular Depth Estimation
- Title（参考訳）: FlowDepth: 自己監督型単眼深度推定のための光フローの分離
- Authors: Yiyang Sun, Zhiyuan Xu, Xiaonian Wang, Jing Yao,
- Abstract要約: 本稿では,ダイナミックモーションフローモジュール (DMFM) が機構ベースのアプローチで光学フローを分離し,動的領域をワープし,ミスマッチ問題を解くフローDepthを提案する。
高フレック領域と低テクスチャ領域による光度誤差の不公平性については,入力と損失レベルでそれぞれDepth-Cue-Aware Blur(DCABlur)とCost-Volumeの空間損失を用いて解決する。
- 参考スコア（独自算出の注目度）: 8.78717459496649
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised multi-frame methods have currently achieved promising results in depth estimation. However, these methods often suffer from mismatch problems due to the moving objects, which break the static assumption. Additionally, unfairness can occur when calculating photometric errors in high-freq or low-texture regions of the images. To address these issues, existing approaches use additional semantic priori black-box networks to separate moving objects and improve the model only at the loss level. Therefore, we propose FlowDepth, where a Dynamic Motion Flow Module (DMFM) decouples the optical flow by a mechanism-based approach and warps the dynamic regions thus solving the mismatch problem. For the unfairness of photometric errors caused by high-freq and low-texture regions, we use Depth-Cue-Aware Blur (DCABlur) and Cost-Volume sparsity loss respectively at the input and the loss level to solve the problem. Experimental results on the KITTI and Cityscapes datasets show that our method outperforms the state-of-the-art methods.
- Abstract（参考訳）: 自己教師型マルチフレーム法は,現在,深度推定において有望な成果を上げている。
しかし、これらの手法は、静的な仮定を破る移動物体によってしばしばミスマッチ問題に悩まされる。
さらに、画像の高周波数領域や低テクスチャ領域における測光誤差を計算する際に不公平が発生することがある。
これらの問題に対処するため、既存のアプローチでは、移動しているオブジェクトを分離し、損失レベルでのみモデルを改善するために、追加のセマンティックプリオリブラックボックスネットワークを使用している。
そこで本研究では,ダイナミックモーションフローモジュール(DMFM)が機構ベースのアプローチで光フローを分離し,動的領域をワープしてミスマッチ問題を解決するフローDepthを提案する。
高フレック領域と低テクスチャ領域による光度誤差の不公平性については,入力と損失レベルでそれぞれDepth-Cue-Aware Blur(DCABlur)とCost-Volumeの空間損失を用いて解決する。
KITTIとCityscapesのデータセットによる実験結果から,本手法は最先端の手法よりも優れていることがわかった。
関連論文リスト
- DepthFM: Fast Monocular Depth Estimation with Flow Matching [22.206355073676082]
この問題に対する現在の差別的アプローチは、ぼやけた人工物のために限られている。
最先端の生成法は、SDEの性質上、サンプリングが遅い。
解空間を通した直線軌道は効率と高品質を提供するので,フローマッチングを用いて効果的にフレーム化することができる。
論文 参考訳（メタデータ） (2024-03-20T17:51:53Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳（メタデータ） (2023-12-12T06:07:21Z) - Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。
我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。
我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
論文 参考訳（メタデータ） (2023-09-18T09:36:24Z) - Stimulating Diffusion Model for Image Denoising via Adaptive Embedding and Ensembling [56.506240377714754]
DMID(Diffusion Model for Image Denoising)と呼ばれる新しい手法を提案する。
我々の戦略は、雑音のある画像を事前訓練された非条件拡散モデルに埋め込む適応的な埋め込み法を含む。
我々のDMID戦略は、歪みベースと知覚ベースの両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-07-08T14:59:41Z) - Microseismic source imaging using physics-informed neural networks with
hard constraints [4.07926531936425]
物理インフォームドニューラルネットワーク(PINN)に基づく直接微動イメージングフレームワークを提案する。
PINNを用いてマルチ周波数波動場を表現し,その逆フーリエ変換を用いて音源画像の抽出を行う。
さらに,本手法をモニタリングフィールドデータの水理破砕に応用し,少ないアーティファクトで精度よくソースを画像化できることを実証する。
論文 参考訳（メタデータ） (2023-04-09T21:10:39Z) - Deep Dynamic Scene Deblurring from Optical Flow [53.625999196063574]
汚れは視覚的により快適な写真を提供し、写真がより便利になる。
非均一な曖昧さを数学的にモデル化することは困難である。
我々は,難解な特徴から鮮明な画像を復元する畳み込みニューラルネットワーク(CNN)を開発した。
論文 参考訳（メタデータ） (2023-01-18T06:37:21Z) - CbwLoss: Constrained Bidirectional Weighted Loss for Self-supervised
Learning of Depth and Pose [13.581694284209885]
光度差は、未ラベルのモノクロビデオから深度とカメラのポーズを推定するためにニューラルネットワークを訓練するために使用される。
本稿では,アフィン変換とビュー合成によって生じる流れ場と深さ構造の違いを利用して,移動物体とオクルージョンを取り扱う。
ネットワークを追加することなく、より意味的な情報と文脈的な情報を持つ特徴の差を測定することにより、テクスチャレス領域がモデル最適化に与える影響を緩和する。
論文 参考訳（メタデータ） (2022-12-12T12:18:24Z) - Frequency-Aware Self-Supervised Monocular Depth Estimation [41.97188738587212]
自己教師付き単眼深度推定モデルを改善するための2つの多目的手法を提案する。
本手法の高一般化性は,測光損失関数の基本的およびユビキタスな問題を解くことによって達成される。
我々は、解釈可能な解析で深度推定器を改善するために、初めてぼやけた画像を提案する。
論文 参考訳（メタデータ） (2022-10-11T14:30:26Z) - Conditional Injective Flows for Bayesian Imaging [18.561430512510956]
インジェクティビティは、低次元の潜在空間とアーキテクチャの革新とともにメモリフットプリントとトレーニング時間を短縮する。
C-トランペットは、MMSEやMAPのような点推定の高速な近似と、物理的に意味のある不確実性定量化を可能にする。
論文 参考訳（メタデータ） (2022-04-15T22:26:21Z) - Denoising Diffusion Restoration Models [110.1244240726802]
Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。
DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
論文 参考訳（メタデータ） (2022-01-27T20:19:07Z) - Dense Optical Flow from Event Cameras [55.79329250951028]
本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。
提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
論文 参考訳（メタデータ） (2021-08-24T07:39:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。