論文の概要: PIG: Prompt Images Guidance for Night-Time Scene Parsing

• arxiv url: http://arxiv.org/abs/2406.10531v1
• Date: Sat, 15 Jun 2024 07:06:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 00:02:58.954544
• Title: PIG: Prompt Images Guidance for Night-Time Scene Parsing
• Title（参考訳）: PIG:夜間のシーン解析のための画像ガイド
• Authors: Zhifeng Xie, Rui Qiu, Sen Wang, Xin Tan, Yuan Xie, Lizhuang Ma,
• Abstract要約: 非教師なし領域適応(UDA)が夜景の研究の主流となっている。 そこで我々はNFNet(Night-Focused Network)を提案する。 NightCity、NightCity+、Dark Zurich、ACDCの4つのナイトタイムデータセットで実験を行いました。
• 参考スコア（独自算出の注目度）: 48.35991796324741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Night-time scene parsing aims to extract pixel-level semantic information in night images, aiding downstream tasks in understanding scene object distribution. Due to limited labeled night image datasets, unsupervised domain adaptation (UDA) has become the predominant method for studying night scenes. UDA typically relies on paired day-night image pairs to guide adaptation, but this approach hampers dataset construction and restricts generalization across night scenes in different datasets. Moreover, UDA, focusing on network architecture and training strategies, faces difficulties in handling classes with few domain similarities. In this paper, we leverage Prompt Images Guidance (PIG) to enhance UDA with supplementary night knowledge. We propose a Night-Focused Network (NFNet) to learn night-specific features from both target domain images and prompt images. To generate high-quality pseudo-labels, we propose Pseudo-label Fusion via Domain Similarity Guidance (FDSG). Classes with fewer domain similarities are predicted by NFNet, which excels in parsing night features, while classes with more domain similarities are predicted by UDA, which has rich labeled semantics. Additionally, we propose two data augmentation strategies: the Prompt Mixture Strategy (PMS) and the Alternate Mask Strategy (AMS), aimed at mitigating the overfitting of the NFNet to a few prompt images. We conduct extensive experiments on four night-time datasets: NightCity, NightCity+, Dark Zurich, and ACDC. The results indicate that utilizing PIG can enhance the parsing accuracy of UDA.
• Abstract（参考訳）: 夜間シーン解析は、夜間画像中の画素レベルの意味情報を抽出し、シーンオブジェクトの分布を理解するための下流タスクを支援することを目的としている。 ラベル付き夜間画像データセットが限られているため、非教師なし領域適応(UDA)が夜景の研究の主流となっている。 UDAは通常、適応をガイドするために2つの日夜のイメージペアを使用するが、このアプローチは、データセットの構築を邪魔し、異なるデータセットのナイトシーンにおける一般化を制限する。 さらに、UDAはネットワークアーキテクチャとトレーニング戦略に重点を置いており、ドメインの類似性が少ないクラスを扱うのに困難に直面している。 本稿では、PIG(Prompt Images Guidance)を利用して、夜間の補助的な知識でUDAを強化する。 そこで我々はNFNet(Night-Focused Network)を提案する。 高品質な擬似ラベルを生成するために,FDSG(Domain similarity Guidance)を用いた擬似ラベル融合を提案する。 ドメイン類似度の少ないクラスは、夜間特徴のパースに優れるNFNetによって予測され、さらにドメイン類似度の低いクラスは、リッチなラベル付きセマンティクスを持つUDAによって予測される。 さらに,Pmpt Mixture Strategy (PMS) とAlternate Mask Strategy (AMS) の2つのデータ拡張戦略を提案する。 NightCity、NightCity+、Dark Zurich、ACDCの4つのナイトタイムデータセットに対して広範な実験を行った。 その結果,PIGの活用により,UDAのパーシング精度が向上することが示唆された。

関連論文リスト

• Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation [58.180226179087086]
  夜間セマンティックセマンティックセグメンテーションに適した新しいエンドツーエンド最適化手法であるNightFormerを提案する。 具体的には,画素レベルのテクスチャ・エンハンスメント・モジュールを設計し,フェーズ・エンハンスメントとアンプリメント・アテンションとともに階層的にテクスチャ・アウェア機能を取得する。 提案手法は、最先端の夜間セマンティックセグメンテーション手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2024-08-25T13:59:31Z)
• NocPlace: Nocturnal Visual Place Recognition via Generative and Inherited Knowledge Transfer [11.203135595002978]
  NocPlaceは、世界のディスクリプタに照らされた光と極暗に対するレジリエンスを埋め込む。 NocPlaceは、東京24/7ナイトで7.6%、SVOXナイトで16.8%向上している。
  論文  参考訳（メタデータ） (2024-02-27T02:47:09Z)
• Similarity Min-Max: Zero-Shot Day-Night Domain Adaptation [52.923298434948606]
  低照度条件は人間の視覚経験を妨げるだけでなく、下流の視覚タスクにおけるモデルの性能を低下させる。 この論文は、境界適用性、すなわちゼロショットの昼夜ドメイン適応に関するより複雑なシナリオに挑戦する。 我々は、それらを統一された枠組みで考える類似性 min-max パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-17T18:50:15Z)
• Disentangled Contrastive Image Translation for Nighttime Surveillance [87.03178320662592]
  夜間監視は、照明の悪さと厳しい人間のアノテーションによる劣化に悩まされる。 既存の手法では、暗黒の物体を知覚するためにマルチスペクトル画像が使われており、解像度の低さと色の不在に悩まされている。 夜間監視の究極の解決策は、夜から昼までの翻訳(Night2Day)である、と私たちは主張する。 本論文は、夜間監視研究を支援する6つのシーンを含む、NightSuRと呼ばれる新しい監視データセットに貢献する。
  論文  参考訳（メタデータ） (2023-07-11T06:40:27Z)
• Boosting Night-time Scene Parsing with Learnable Frequency [53.05778451012621]
  NTSP(Night-Time Scene Parsing)は多くの視覚アプリケーション、特に自律運転に必須である。 既存の手法のほとんどは日中シーン解析のために提案されている。 提案手法は,NightCity,NightCity+およびBDD100K-nightデータセットの最先端手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2022-08-30T13:09:59Z)
• Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation in Nighttime Semantic Segmentation [17.874336775904272]
  CCDistillと呼ばれるクロスドメイン相関蒸留による新しいドメイン適応フレームワークを提案する。 特徴に含まれる内容やスタイルの知識を抽出し、2つの画像間の固有または照度差の度合いを算出する。 Dark Zurich と ACDC の実験では,CCDistill が夜間セマンティックセマンティックセグメンテーションの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-05-02T12:42:04Z)
• Self-supervised Monocular Depth Estimation for All Day Images using Domain Separation [17.066753214406525]
  本稿では,全日画像の自己教師付き深度推定のための領域分離ネットワークを提案する。 提案手法は,オックスフォード・ロボットカー・データセットにおける全日画像の最先端の深度推定結果を実現する。
  論文  参考訳（メタデータ） (2021-08-17T13:52:19Z)
• DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime Semantic Segmentation [18.43890050736093]
  夜間セマンティックセグメンテーションのための新しいドメイン適応ネットワーク(DANNet)を提案する。 ラベル付きデイタイムデータセットとラベルなしデータセットを備えた敵対的なトレーニングを採用している。 本手法は,夜間セマンティックセグメンテーションにおける最新性能を実現する。
  論文  参考訳（メタデータ） (2021-04-22T02:49:28Z)
• Night-time Scene Parsing with a Large Real Dataset [67.11211537439152]
  我々は,夜間シーン解析(NTSP)の問題に対処することを目指しており,主な課題が2つある。 夜間データの不足に対処するため、実夜間画像4,297枚からなる新しいラベル付きデータセット、NightCityを収集した。 また,NTSP問題に対処するための露出認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-15T18:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。