論文の概要: Disentangle then Parse:Night-time Semantic Segmentation with
Illumination Disentanglement
- arxiv url: http://arxiv.org/abs/2307.09362v2
- Date: Wed, 19 Jul 2023 13:21:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-20 10:57:49.262954
- Title: Disentangle then Parse:Night-time Semantic Segmentation with
Illumination Disentanglement
- Title(参考訳): ディスタングル(disentangle then Parse:Night-time Semantic Segmentation with Illumination Disentanglement)
- Authors: Zhixiang Wei, Lin Chen, Tao Tu, Huaian Chen, Pengyang Ling, Yi Jin
- Abstract要約: そこで我々は,DTP(disentangle then parse)という新しいセマンティックセグメンテーションパラダイムを提案する。
DTPは夜間画像を光不変反射率と光特異的照明成分に明確に分離する。
DTPは夜間セグメンテーションの最先端手法よりも優れていた。
- 参考スコア(独自算出の注目度): 11.13045179377011
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most prior semantic segmentation methods have been developed for day-time
scenes, while typically underperforming in night-time scenes due to
insufficient and complicated lighting conditions. In this work, we tackle this
challenge by proposing a novel night-time semantic segmentation paradigm, i.e.,
disentangle then parse (DTP). DTP explicitly disentangles night-time images
into light-invariant reflectance and light-specific illumination components and
then recognizes semantics based on their adaptive fusion. Concretely, the
proposed DTP comprises two key components: 1) Instead of processing
lighting-entangled features as in prior works, our Semantic-Oriented
Disentanglement (SOD) framework enables the extraction of reflectance component
without being impeded by lighting, allowing the network to consistently
recognize the semantics under cover of varying and complicated lighting
conditions. 2) Based on the observation that the illumination component can
serve as a cue for some semantically confused regions, we further introduce an
Illumination-Aware Parser (IAParser) to explicitly learn the correlation
between semantics and lighting, and aggregate the illumination features to
yield more precise predictions. Extensive experiments on the night-time
segmentation task with various settings demonstrate that DTP significantly
outperforms state-of-the-art methods. Furthermore, with negligible additional
parameters, DTP can be directly used to benefit existing day-time methods for
night-time segmentation.
- Abstract(参考訳): 従来のセマンティックセグメンテーション手法は昼間の場面で開発されているが、夜間のシーンでは照明条件が不十分で複雑な場合が多い。
本研究では,この課題に対処するために,新しい夜間セマンティックセマンティックセマンティクスパラダイム,すなわちディスアンタングル(disentangle then parse,DTP)を提案する。
DTPは、夜間画像を光不変反射率と光特異的照明成分に明示的に分離し、適応融合に基づいて意味を認識する。
具体的には,提案するdtpは2つのキーコンポーネントからなる。
1) 従来の作業のように光の絡み合う特徴を処理する代わりに,我々のセマンティック・オリエント・ディスタングルメント(SOD)フレームワークは,反射成分の抽出を照明の影響を受けずに可能としており,ネットワークは様々な複雑な照明条件をカバーしたセマンティクスを一貫して認識することができる。
2)照明成分がいくつかの意味的に混乱した領域の手がかりとなりうるという観測に基づいて、さらに、意味論と照明の相関を明示的に学習する照明認識解析器(iaparser)を導入し、照明特徴を集約し、より正確な予測を行う。
夜間セグメンテーションタスクにおける多種多様な設定による大規模な実験により、DTPは最先端の手法を著しく上回っていることが示された。
さらに、追加パラメータが無視できるため、dtpは夜間セグメンテーションの既存の昼間メソッドの恩恵を受けるために直接使用できる。
関連論文リスト
- Beyond Night Visibility: Adaptive Multi-Scale Fusion of Infrared and
Visible Images [49.75771095302775]
赤外線および可視画像を用いた適応型マルチスケール核融合ネットワーク(AMFusion)を提案する。
まず、赤外画像と可視画像から空間的特徴と意味的特徴を分離し、前者が光分布の調整に使用される。
第2に,事前学習したバックボーンから抽出した検出機能を利用して,意味的特徴の融合を誘導する。
第3に、通常の光強度で融合画像を制約する新しい照明損失を提案する。
論文 参考訳(メタデータ) (2024-03-02T03:52:07Z) - Illumination Distillation Framework for Nighttime Person
Re-Identification and A New Benchmark [29.6321130075977]
本稿では、夜間のRe-IDにおける低照度課題に対処するための照明蒸留フレームワーク(IDF)を提案する。
IDFは、マスターブランチ、照明増強ブランチ、照明蒸留モジュールから構成される。
私たちは、600のIDを含むNight600という、現実世界の夜間人物Re-IDデータセットを構築しました。
論文 参考訳(メタデータ) (2023-08-31T06:45:56Z) - Learnable Differencing Center for Nighttime Depth Perception [39.455428679154934]
我々は LDCNet というシンプルなフレームワークを提案する。
我々のキーとなる考え方は、夜間のカラー画像を改善するために、Recurrent Inter-Convolution Difference (RICD) と Illumination-Affinitive Inter-Convolution Difference (IAICD) を使用することである。
夜間深度推定タスクと夜間深度推定タスクの両方において,LDCNetの有効性を実験的に検証した。
論文 参考訳(メタデータ) (2023-06-26T09:21:13Z) - Factorized Inverse Path Tracing for Efficient and Accurate
Material-Lighting Estimation [97.0195314255101]
逆経路追跡は計算に高価であり、反射と放出の間に曖昧さが存在する。
当社のFactized Inverse Path Tracing (FIPT) は, ファクタリング光輸送の定式化によってこれらの課題に対処する。
提案アルゴリズムは, 従来よりも高精度な材料と照明の最適化を実現し, あいまいさの解消に有効である。
論文 参考訳(メタデータ) (2023-04-12T07:46:05Z) - When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth
Estimation [47.617222712429026]
既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。
まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。
第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
論文 参考訳(メタデータ) (2022-06-28T09:29:55Z) - Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation
in Nighttime Semantic Segmentation [17.874336775904272]
CCDistillと呼ばれるクロスドメイン相関蒸留による新しいドメイン適応フレームワークを提案する。
特徴に含まれる内容やスタイルの知識を抽出し、2つの画像間の固有または照度差の度合いを算出する。
Dark Zurich と ACDC の実験では,CCDistill が夜間セマンティックセマンティックセグメンテーションの最先端性能を達成することを示した。
論文 参考訳(メタデータ) (2022-05-02T12:42:04Z) - Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic
Segmentation [83.97914777313136]
自律運転では、様々な環境条件に適応できるセグメンテーションモデルを学ぶことが重要である。
本稿では,識別型夜間モデル学習を目的としたDANSS(Domain Adaptive Nighttime Semantic)の問題点について考察する。
本稿では,DANSS のための新しい Bi-Mix フレームワークを提案する。
論文 参考訳(メタデータ) (2021-11-19T17:39:47Z) - Learning Flow-based Feature Warping for Face Frontalization with
Illumination Inconsistent Supervision [73.18554605744842]
Flow-based Feature Warping Model (FFWM) は、正面画像を保存するフォトリアリスティックおよび照明の合成を学ぶ。
Illumination Preserving Module (IPM) を提案する。
Warp Attention Module (WAM) は、機能レベルでのポーズの相違を低減するために導入された。
論文 参考訳(メタデータ) (2020-08-16T06:07:00Z) - Crowdsampling the Plenoptic Function [56.10020793913216]
このようなデータから時間変動照明下での新しいビュー合成手法を提案する。
本稿では,新しいDeepMPI表現について紹介する。
本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
論文 参考訳(メタデータ) (2020-07-30T02:52:10Z) - HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with
Thermal Images [26.749261270690425]
現実の運転シナリオでは、夜間照明や光沢のような環境条件が悪くなる。
日中夜間に適用可能な多モーダルセマンティックセマンティックセマンティクスモデルを提案する。
RGB画像以外にも、サーマルイメージを活用して、ネットワークをはるかに堅牢にしています。
論文 参考訳(メタデータ) (2020-03-10T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。