論文の概要: Test-Time Adaptation for Nighttime Color-Thermal Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2307.04470v2
- Date: Thu, 30 Nov 2023 03:04:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 20:24:28.496655
- Title: Test-Time Adaptation for Nighttime Color-Thermal Semantic Segmentation
- Title（参考訳）: 夜間色熱意味セグメンテーションのためのテスト時間適応
- Authors: Yexin Liu, Weiming Zhang, Guoyang Zhao, Jinjing Zhu, Athanasios
Vasilakos, and Lin Wang
- Abstract要約: 夜間RGBTセマンティックセマンティックセグメンテーションの問題に対処するため,Night-TTAと呼ばれる最初のテスト時適応フレームワークを提案する。
提案手法は,mIoUが13.07%向上し,最先端(SoTA)性能を実現する。
- 参考スコア（独自算出の注目度）: 17.546960391700985
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to scene understanding in adverse visual conditions, e.g.,
nighttime, has sparked active research for RGB-Thermal (RGB-T) semantic
segmentation. However, it is essentially hampered by two critical problems: 1)
the day-night gap of RGB images is larger than that of thermal images, and 2)
the class-wise performance of RGB images at night is not consistently higher or
lower than that of thermal images. we propose the first test-time adaptation
(TTA) framework, dubbed Night-TTA, to address the problems for nighttime RGBT
semantic segmentation without access to the source (daytime) data during
adaptation. Our method enjoys three key technical parts. Firstly, as one
modality (e.g., RGB) suffers from a larger domain gap than that of the other
(e.g., thermal), Imaging Heterogeneity Refinement (IHR) employs an interaction
branch on the basis of RGB and thermal branches to prevent cross-modal
discrepancy and performance degradation. Then, Class Aware Refinement (CAR) is
introduced to obtain reliable ensemble logits based on pixel-level distribution
aggregation of the three branches. In addition, we also design a specific
learning scheme for our TTA framework, which enables the ensemble logits and
three student logits to collaboratively learn to improve the quality of
predictions during the testing phase of our Night TTA. Extensive experiments
show that our method achieves state-of-the-art (SoTA) performance with a 13.07%
boost in mIoU.
- Abstract（参考訳）: 悪質な視覚条件(例えば夜間)で理解する能力は、RGB-Thermal (RGB-T)セマンティックセグメンテーションの活発な研究を引き起こしている。
しかし、基本的には2つの重大な問題によって妨げられている。
1)RGB画像の昼夜ギャップは熱画像のそれよりも大きく、
2)夜間のrgb画像のクラス別性能は,熱画像よりも常に高くも低いものでもない。
そこで我々は,夜間RGBTセマンティックセマンティックセマンティックセグメンテーションにおいて,適応中のソース(日)データにアクセスすることなく問題に対処するため,Night-TTAと呼ばれる最初のテスト時適応(TTA)フレームワークを提案する。
我々の方法には3つの重要な技術要素がある。
第一に、一方のモダリティ(例えば、RGB)が他方のドメインギャップ(例えば、熱)よりも大きいため、イメージング・ヘテロジニティ・リファインメント(IHR)は、RGBと熱ブランチに基づいて相互作用ブランチを使用し、相互の相違や性能劣化を防止する。
次に、3つのブランチの画素レベルの分布集約に基づいて、信頼性の高いアンサンブルロジットを得るために、クラスAware Refinement(CAR)を導入する。
さらに,ttaフレームワークのための特定の学習方式も設計し,夜間ttaのテストフェーズにおける予測の質を向上させるために,アンサンブルロジットと3つの学生ロジットを協調的に学習できるようにした。
実験の結果,mIoUは13.07%向上し,SoTA(State-of-the-art)性能が得られた。
関連論文リスト
- Alignment-Free RGBT Salient Object Detection: Semantics-guided Asymmetric Correlation Network and A Unified Benchmark [15.435695491233982]
RGB と Thermal (RGBT) Salient Object Detection (SOD) は高品質な塩分濃度予測を実現することを目的としている。
既存の手法は、労働集約的な手動でアライメントされたイメージペア向けに調整されている。
手動によるアライメントを伴わないRGBT SODと熱画像のペアに対して,RGBT SODに対処する最初の試みを行う。
論文 参考訳（メタデータ） (2024-06-03T01:01:58Z) - Ternary-type Opacity and Hybrid Odometry for RGB-only NeRF-SLAM [62.23809541385653]
3次型不透明度が課題に適している理由と課題について検討する。
本稿では,ボリュームとワープに基づく画像レンダリングを併用した,シンプルながら斬新なビジュアルオドメトリー手法を提案する。
論文 参考訳（メタデータ） (2023-12-20T18:03:17Z) - Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。
近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。
本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
論文 参考訳（メタデータ） (2023-06-17T14:28:08Z) - Complementary Random Masking for RGB-Thermal Semantic Segmentation [63.93784265195356]
RGB-熱的セマンティックセグメンテーションは、悪天候や照明条件における信頼性の高いセマンティックセマンティックセマンティック理解を実現するための潜在的ソリューションである。
本稿では,1)RGB-T画像の相補的ランダムマスキング戦略,2)クリーンモードとマスク入力モードの自己蒸留損失を提案する。
3つのRGB-Tセマンティックセマンティックセグメンテーションベンチマークで最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-03-30T13:57:21Z) - Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。
本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。
一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
論文 参考訳（メタデータ） (2022-10-09T13:50:12Z) - Mirror Complementary Transformer Network for RGB-thermal Salient Object
Detection [16.64781797503128]
RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。
本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。
ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2022-07-07T20:26:09Z) - RGB-Multispectral Matching: Dataset, Learning Methodology, Evaluation [49.28588927121722]
ステレオマッチング対応を解くことで,解像度の異なる同期色(RGB)とマルチスペクトル画像(MS)の登録の問題に対処する。
室内環境における13の異なるシーンをフレーミングする新しいRGB-MSデータセットを導入し,34枚の画像対に半高解像度の高解像度の地上トラスラベルを付加したアノテートを行った。
そこで本研究では,RGBカメラを活用した自己指導型ディープラーニングアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-06-14T17:59:59Z) - Temporal Aggregation for Adaptive RGBT Tracking [14.00078027541162]
本稿では,頑健な外見モデル学習を考慮したRGBTトラッカーを提案する。
空間情報のみを含むオブジェクト追跡タスクを実装している既存のRGBTトラッカーとは異なり、この手法では時間情報も考慮されている。
論文 参考訳（メタデータ） (2022-01-22T02:31:56Z) - Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD
Images [69.5662419067878]
RGBD画像における接地参照表現は新たな分野である。
本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。
提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。
次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
論文 参考訳（メタデータ） (2021-03-14T11:18:50Z) - Bi-directional Cross-Modality Feature Propagation with
Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。
既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。
本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
論文 参考訳（メタデータ） (2020-07-17T18:35:24Z) - HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with
Thermal Images [26.749261270690425]
現実の運転シナリオでは、夜間照明や光沢のような環境条件が悪くなる。
日中夜間に適用可能な多モーダルセマンティックセマンティックセマンティクスモデルを提案する。
RGB画像以外にも、サーマルイメージを活用して、ネットワークをはるかに堅牢にしています。
論文 参考訳（メタデータ） (2020-03-10T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。