論文の概要: CMDA: Cross-Modality Domain Adaptation for Nighttime Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2307.15942v1
• Date: Sat, 29 Jul 2023 09:29:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 18:34:43.644272
• Title: CMDA: Cross-Modality Domain Adaptation for Nighttime Semantic Segmentation
• Title（参考訳）: CMDA:夜間セマンティックセグメンテーションのためのクロスモーダルドメイン適応
• Authors: Ruihao Xia, Chaoqiang Zhao, Meng Zheng, Ziyan Wu, Qiyu Sun, Yang Tang
• Abstract要約: 夜間セマンティックセグメンテーションのためのマルチモーダル(画像とイベント)情報を活用するための,教師なしクロスモーダルドメイン適応(CMDA)フレームワークを提案する。 CMDAでは,映像から映像情報を抽出する動き抽出器と映像コンテンツ抽出器を設計し,画像からコンテンツ情報を抽出する。 夜間のセマンティックセマンティックセグメンテーションデータセットについて紹介する。
• 参考スコア（独自算出の注目度）: 21.689985575213512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most nighttime semantic segmentation studies are based on domain adaptation approaches and image input. However, limited by the low dynamic range of conventional cameras, images fail to capture structural details and boundary information in low-light conditions. Event cameras, as a new form of vision sensors, are complementary to conventional cameras with their high dynamic range. To this end, we propose a novel unsupervised Cross-Modality Domain Adaptation (CMDA) framework to leverage multi-modality (Images and Events) information for nighttime semantic segmentation, with only labels on daytime images. In CMDA, we design the Image Motion-Extractor to extract motion information and the Image Content-Extractor to extract content information from images, in order to bridge the gap between different modalities (Images to Events) and domains (Day to Night). Besides, we introduce the first image-event nighttime semantic segmentation dataset. Extensive experiments on both the public image dataset and the proposed image-event dataset demonstrate the effectiveness of our proposed approach. We open-source our code, models, and dataset at https://github.com/XiaRho/CMDA.
• Abstract（参考訳）: ほとんどの夜間セマンティックセグメンテーション研究は、ドメイン適応アプローチと画像入力に基づいている。 しかし、従来のカメラのダイナミックレンジが低かったため、画像は低照度条件で構造の詳細と境界情報を捉えられなかった。 イベントカメラは、新しい形態の視覚センサーとして、高ダイナミックレンジの従来のカメラを補完するものだ。 そこで本稿では,夜間セマンティックセマンティックセグメンテーションのためのマルチモーダル(画像とイベント)情報を活用するための,教師なしクロスモーダルドメイン適応(CMDA)フレームワークを提案する。 CMDAでは,動作情報抽出のための画像運動抽出装置と画像コンテンツ抽出装置を設計し,異なるモダリティ(画像からイベント)とドメイン(日から夜)のギャップを埋めるため,画像からコンテンツ情報を抽出する。 また、最初の画像イベント夜間セマンティクスセグメンテーションデータセットも導入する。 提案手法の有効性を示すために,公開画像データセットと提案画像イベントデータセットの併用実験を行った。 コード、モデル、データセットはhttps://github.com/XiaRho/CMDA.comでオープンソース化しています。

関連論文リスト

• Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation [58.180226179087086]
  夜間セマンティックセマンティックセグメンテーションに適した新しいエンドツーエンド最適化手法であるNightFormerを提案する。 具体的には,画素レベルのテクスチャ・エンハンスメント・モジュールを設計し,フェーズ・エンハンスメントとアンプリメント・アテンションとともに階層的にテクスチャ・アウェア機能を取得する。 提案手法は、最先端の夜間セマンティックセグメンテーション手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2024-08-25T13:59:31Z)
• Towards Dynamic and Small Objects Refinement for Unsupervised Domain Adaptative Nighttime Semantic Segmentation [10.770319457743192]
  夜間セマンティックセグメンテーションは、自律運転のような実践的応用において重要な役割を果たす。 UDAはこれらの課題に対処する可能性を示し、夜間のセマンティックセグメンテーションにおいて顕著な結果を得た。 本稿では,夜間セマンティックセマンティックセグメンテーションのための動的および小型オブジェクトのラベルレベルと特徴レベルの両方を改良する新しいUDA手法を提案する。
  論文  参考訳（メタデータ） (2023-10-07T09:05:50Z)
• Similarity Min-Max: Zero-Shot Day-Night Domain Adaptation [52.923298434948606]
  低照度条件は人間の視覚経験を妨げるだけでなく、下流の視覚タスクにおけるモデルの性能を低下させる。 この論文は、境界適用性、すなわちゼロショットの昼夜ドメイン適応に関するより複雑なシナリオに挑戦する。 我々は、それらを統一された枠組みで考える類似性 min-max パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-17T18:50:15Z)
• Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation in Nighttime Semantic Segmentation [17.874336775904272]
  CCDistillと呼ばれるクロスドメイン相関蒸留による新しいドメイン適応フレームワークを提案する。 特徴に含まれる内容やスタイルの知識を抽出し、2つの画像間の固有または照度差の度合いを算出する。 Dark Zurich と ACDC の実験では,CCDistill が夜間セマンティックセマンティックセグメンテーションの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-05-02T12:42:04Z)
• ESS: Learning Event-based Semantic Segmentation from Still Images [48.37422967330683]
  イベントベースのセマンティックセグメンテーションは、センサーの新規性と高品質なラベル付きデータセットの欠如により、まだ初期段階にある。 既存のラベル付き画像データセットから、教師なしドメイン適応(UDA)を介してラベルなしイベントにセマンティックセグメンテーションタスクを転送するESSを導入する。 イベントベースのセマンティックセグメンテーションのさらなる研究を促進するために、我々はDSEC-Semanticを導入した。
  論文  参考訳（メタデータ） (2022-03-18T15:30:01Z)
• Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic Segmentation [83.97914777313136]
  自律運転では、様々な環境条件に適応できるセグメンテーションモデルを学ぶことが重要である。 本稿では,識別型夜間モデル学習を目的としたDANSS(Domain Adaptive Nighttime Semantic)の問題点について考察する。 本稿では,DANSS のための新しい Bi-Mix フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-19T17:39:47Z)
• Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation [57.22705137545853]
  本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。 われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
  論文  参考訳（メタデータ） (2021-09-06T17:31:37Z)
• DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime Semantic Segmentation [18.43890050736093]
  夜間セマンティックセグメンテーションのための新しいドメイン適応ネットワーク(DANNet)を提案する。 ラベル付きデイタイムデータセットとラベルなしデータセットを備えた敵対的なトレーニングを採用している。 本手法は,夜間セマンティックセグメンテーションにおける最新性能を実現する。
  論文  参考訳（メタデータ） (2021-04-22T02:49:28Z)
• Self-supervised Human Detection and Segmentation via Multi-view Consensus [116.92405645348185]
  本稿では,トレーニング中に幾何学的制約を多視点一貫性という形で組み込むマルチカメラフレームワークを提案する。 本手法は,標準ベンチマークから視覚的に外れた画像に対して,最先端の自己監視的人物検出とセグメンテーション技術に勝ることを示す。
  論文  参考訳（メタデータ） (2020-12-09T15:47:21Z)
• HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with Thermal Images [26.749261270690425]
  現実の運転シナリオでは、夜間照明や光沢のような環境条件が悪くなる。 日中夜間に適用可能な多モーダルセマンティックセマンティックセマンティクスモデルを提案する。 RGB画像以外にも、サーマルイメージを活用して、ネットワークをはるかに堅牢にしています。
  論文  参考訳（メタデータ） (2020-03-10T11:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。