論文の概要: DEHRFormer: Real-time Transformer for Depth Estimation and Haze Removal
from Varicolored Haze Scenes
- arxiv url: http://arxiv.org/abs/2303.06905v1
- Date: Mon, 13 Mar 2023 07:47:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 16:04:54.289984
- Title: DEHRFormer: Real-time Transformer for Depth Estimation and Haze Removal
from Varicolored Haze Scenes
- Title(参考訳): DEHRFormer:多色ヘイズシーンからの深度推定とヘイズ除去のためのリアルタイムトランス
- Authors: Sixiang Chen, Tian Ye, Jun Shi, Yun Liu, JingXia Jiang, Erkang Chen,
Peng Chen
- Abstract要約: そこで本研究では,画像深度推定とヘイズ除去を同時に行うリアルタイムトランスフォーマを提案する。
DEHRFormerは1つのエンコーダと2つのタスク固有のデコーダで構成される。
対照的な学習とドメイン整合性学習を利用して、現実のデハジングにおける弱い一般化問題に取り組む新しい学習パラダイムを導入する。
- 参考スコア(独自算出の注目度): 10.174140482558904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Varicolored haze caused by chromatic casts poses haze removal and depth
estimation challenges. Recent learning-based depth estimation methods are
mainly targeted at dehazing first and estimating depth subsequently from
haze-free scenes. This way, the inner connections between colored haze and
scene depth are lost. In this paper, we propose a real-time transformer for
simultaneous single image Depth Estimation and Haze Removal (DEHRFormer).
DEHRFormer consists of a single encoder and two task-specific decoders. The
transformer decoders with learnable queries are designed to decode coupling
features from the task-agnostic encoder and project them into clean image and
depth map, respectively. In addition, we introduce a novel learning paradigm
that utilizes contrastive learning and domain consistency learning to tackle
weak-generalization problem for real-world dehazing, while predicting the same
depth map from the same scene with varicolored haze. Experiments demonstrate
that DEHRFormer achieves significant performance improvement across diverse
varicolored haze scenes over previous depth estimation networks and dehazing
approaches.
- Abstract(参考訳): カラーキャストによる多彩なヘイズは、ヘイズ除去と深さ推定の課題を引き起こす。
近年の学習に基づく深度推定法は, 主に, ヘイズフリーシーンからの深度を推定することを目的としている。
これにより、彩色した風と風景の奥行きとの間の内側のつながりが失われる。
本稿では,Depth Estimation and Haze removal (DEHRFormer) を同時に行うリアルタイムトランスフォーマを提案する。
DEHRFormerは1つのエンコーダと2つのタスク固有のデコーダで構成される。
学習可能なクエリを持つ変換器デコーダは、タスクに依存しないエンコーダから結合機能をデコードし、それらをクリーンな画像と深度マップに投影するように設計されている。
さらに,実世界のデヘイジングにおける弱一般化問題に取り組むために,コントラスト学習とドメイン一貫性学習を利用した新しい学習パラダイムを導入し,同じシーンから同じ深さマップを可変ヘイズで予測する。
DEHRFormerは,従来の深度推定ネットワークやデハジングアプローチよりも多彩なヘイズシーンにおいて,大幅な性能向上を実現している。
関連論文リスト
- Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging
Scenarios [103.72094710263656]
本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。
本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。
得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
論文 参考訳(メタデータ) (2024-02-19T04:39:16Z) - Learning to Adapt CLIP for Few-Shot Monocular Depth Estimation [31.34615135846137]
単眼深度推定に視覚言語モデルを適用することを学習する,数発のショットベース手法を提案する。
具体的には、異なるシーンに異なる深度ビンを割り当て、推論中にモデルによって選択できる。
トレーニング用シーンあたりのイメージが1つしかないため、NYU V2とKITTIデータセットによる大規模な実験結果から、我々の手法が従来の最先端の手法を最大10.6%上回っていることが示された。
論文 参考訳(メタデータ) (2023-11-02T06:56:50Z) - Depth Estimation from a Single Optical Encoded Image using a Learned
Colored-Coded Aperture [18.830374973687416]
State-of-the-artアプローチは、レンズ開口にバイナリ符号化開口(CA)を導入することにより、異なる深さの識別を改善する。
カラー符号化開口(CCA)は、撮影画像に色ずれを生じさせ、不一致を推定することができる。
本稿では,カラーフィルタの多さとスペクトル情報のリッチ化により,関連する深度情報を1枚のスナップショットで光学的に符号化するCCAを提案する。
論文 参考訳(メタデータ) (2023-09-14T21:30:55Z) - SelfPromer: Self-Prompt Dehazing Transformers with Depth-Consistency [60.03630732010197]
本研究は,画像デハージングに有効な深度整合型セルフプロンプトトランスを提案する。
ヘイズ残像とその明確な像の深さが異なるという観測によって動機づけられた。
VQGANに基づくエンコーダ・デコーダネットワークにプロンプト、プロンプト埋め込み、そしてインタプリタを組み込むことにより、より優れた知覚品質を実現することができる。
論文 参考訳(メタデータ) (2023-03-13T11:47:24Z) - Towards Accurate Reconstruction of 3D Scene Shape from A Single
Monocular Image [91.71077190961688]
まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。
次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。
我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-08-28T16:20:14Z) - RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation [27.679479140943503]
本研究では,シーン深さのスケール不変性を学習し,自己教師付き単眼深度推定法(RA-Depth)を提案する。
RA-Depthは最先端の性能を達成し、解像度適応の優れた能力を示す。
論文 参考訳(メタデータ) (2022-07-25T08:49:59Z) - End-to-end Learning for Joint Depth and Image Reconstruction from
Diffracted Rotation [10.896567381206715]
回折回転から深度を学習する新しいエンド・ツー・エンド学習手法を提案する。
提案手法は, 単分子深度推定のタスクにおいて既存の手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。
論文 参考訳(メタデータ) (2022-04-14T16:14:37Z) - Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。
画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。
私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文 参考訳(メタデータ) (2021-02-21T05:24:18Z) - Dual Pixel Exploration: Simultaneous Depth Estimation and Image
Restoration [77.1056200937214]
本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。
本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
論文 参考訳(メタデータ) (2020-12-01T06:53:57Z) - DiverseDepth: Affine-invariant Depth Prediction Using Diverse Data [110.29043712400912]
本稿では,アフィン変換に至るまでの多様なシーンにおける高品質な深度を予測できるモノクロ画像を用いた深度推定手法を提案する。
実験の結果,提案手法は,ゼロショットテスト設定と大差で8つのデータセットの先行手法より優れていた。
論文 参考訳(メタデータ) (2020-02-03T05:38:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。