論文の概要: HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with Thermal Images

• arxiv url: http://arxiv.org/abs/2003.04645v1
• Date: Tue, 10 Mar 2020 11:36:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 21:04:56.009799
• Title: HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with Thermal Images
• Title（参考訳）: HeatNet: 熱画像を用いたセマンティックセグメンテーションにおける日中ドメインギャップのブリッジ
• Authors: Johan Vertens, Jannik Z\"urn, Wolfram Burgard
• Abstract要約: 現実の運転シナリオでは、夜間照明や光沢のような環境条件が悪くなる。 日中夜間に適用可能な多モーダルセマンティックセマンティックセマンティクスモデルを提案する。 RGB画像以外にも、サーマルイメージを活用して、ネットワークをはるかに堅牢にしています。
• 参考スコア（独自算出の注目度）: 26.749261270690425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The majority of learning-based semantic segmentation methods are optimized for daytime scenarios and favorable lighting conditions. Real-world driving scenarios, however, entail adverse environmental conditions such as nighttime illumination or glare which remain a challenge for existing approaches. In this work, we propose a multimodal semantic segmentation model that can be applied during daytime and nighttime. To this end, besides RGB images, we leverage thermal images, making our network significantly more robust. We avoid the expensive annotation of nighttime images by leveraging an existing daytime RGB-dataset and propose a teacher-student training approach that transfers the dataset's knowledge to the nighttime domain. We further employ a domain adaptation method to align the learned feature spaces across the domains and propose a novel two-stage training scheme. Furthermore, due to a lack of thermal data for autonomous driving, we present a new dataset comprising over 20,000 time-synchronized and aligned RGB-thermal image pairs. In this context, we also present a novel target-less calibration method that allows for automatic robust extrinsic and intrinsic thermal camera calibration. Among others, we employ our new dataset to show state-of-the-art results for nighttime semantic segmentation.
• Abstract（参考訳）: 学習に基づくセマンティックセグメンテーション手法の大部分は、昼間のシナリオや好ましい照明条件に最適化されている。 しかし、現実の運転シナリオは、既存のアプローチの課題である夜間照明やグレアのような有害な環境条件を伴っている。 本研究では,日中と夜間に適用可能なマルチモーダル意味セグメンテーションモデルを提案する。 この目的のために、RGB画像以外にも、熱画像を活用し、ネットワークをはるかに堅牢にする。 我々は、既存の昼間RGBデータセットを活用して、夜間画像の高価なアノテーションを避けるとともに、夜間領域にデータセットの知識を伝達する教師学習アプローチを提案する。 さらに,学習した特徴空間の整列化にドメイン適応法を適用し,新しい二段階学習法を提案する。 さらに, 自動走行用サーマルデータが不足しているため, 時間同期とRGB熱画像ペアの整列が2万を超える新しいデータセットを提案する。 そこで,本研究では,ロバストなサーマルカメラキャリブレーションを実現するための新しいターゲットレスキャリブレーション手法を提案する。 中でも,夜間セマンティックセグメンテーションの最先端結果を示すために,我々の新しいデータセットを用いた。

関連論文リスト

• Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation [58.180226179087086]
  夜間セマンティックセマンティックセグメンテーションに適した新しいエンドツーエンド最適化手法であるNightFormerを提案する。 具体的には,画素レベルのテクスチャ・エンハンスメント・モジュールを設計し,フェーズ・エンハンスメントとアンプリメント・アテンションとともに階層的にテクスチャ・アウェア機能を取得する。 提案手法は、最先端の夜間セマンティックセグメンテーション手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2024-08-25T13:59:31Z)
• RHRSegNet: Relighting High-Resolution Night-Time Semantic Segmentation [0.0]
  夜間セマンティックセグメンテーションはコンピュータビジョンにおいて重要な課題であり、低照度条件下でのオブジェクトの正確な分類とセグメンテーションに焦点を当てている。 セマンティックセグメンテーションのための高分解能ネットワーク上でのリライトモデルを実装したRHRSegNetを提案する。 提案モデルでは、低照度画像や夜間画像においてHRnetセグメンテーション性能を5%向上させる。
  論文  参考訳（メタデータ） (2024-07-08T15:07:09Z)
• Similarity Min-Max: Zero-Shot Day-Night Domain Adaptation [52.923298434948606]
  低照度条件は人間の視覚経験を妨げるだけでなく、下流の視覚タスクにおけるモデルの性能を低下させる。 この論文は、境界適用性、すなわちゼロショットの昼夜ドメイン適応に関するより複雑なシナリオに挑戦する。 我々は、それらを統一された枠組みで考える類似性 min-max パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-17T18:50:15Z)
• Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
  本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。 本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。 一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
  論文  参考訳（メタデータ） (2022-10-09T13:50:12Z)
• Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation in Nighttime Semantic Segmentation [17.874336775904272]
  CCDistillと呼ばれるクロスドメイン相関蒸留による新しいドメイン適応フレームワークを提案する。 特徴に含まれる内容やスタイルの知識を抽出し、2つの画像間の固有または照度差の度合いを算出する。 Dark Zurich と ACDC の実験では,CCDistill が夜間セマンティックセマンティックセグメンテーションの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-05-02T12:42:04Z)
• Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic Segmentation [83.97914777313136]
  自律運転では、様々な環境条件に適応できるセグメンテーションモデルを学ぶことが重要である。 本稿では,識別型夜間モデル学習を目的としたDANSS(Domain Adaptive Nighttime Semantic)の問題点について考察する。 本稿では,DANSS のための新しい Bi-Mix フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-19T17:39:47Z)
• Meta-UDA: Unsupervised Domain Adaptive Thermal Object Detection using Meta-Learning [64.92447072894055]
  赤外線(IR)カメラは、照明条件や照明条件が悪ければ頑丈である。 既存のUDA手法を改善するためのアルゴリズムメタ学習フレームワークを提案する。 KAISTおよびDSIACデータセットのための最先端熱検出器を作成した。
  論文  参考訳（メタデータ） (2021-10-07T02:28:18Z)
• DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime Semantic Segmentation [18.43890050736093]
  夜間セマンティックセグメンテーションのための新しいドメイン適応ネットワーク(DANNet)を提案する。 ラベル付きデイタイムデータセットとラベルなしデータセットを備えた敵対的なトレーニングを採用している。 本手法は,夜間セマンティックセグメンテーションにおける最新性能を実現する。
  論文  参考訳（メタデータ） (2021-04-22T02:49:28Z)
• Scene relighting with illumination estimation in the latent space on an encoder-decoder scheme [68.8204255655161]
  本報告では,その目的を達成するための手法について述べる。 我々のモデルは、シーン内容、光源位置、色温度の異なる、人工的な場所のレンダリングデータセットに基づいて訓練されている。 本データセットでは,被写体の潜在空間表現における光条件の推測と置き換えを目的とした照明推定成分を用いたネットワークを用いた。
  論文  参考訳（メタデータ） (2020-06-03T15:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。