論文の概要: Learning A Robust RGB-Thermal Detector for Extreme Modality Imbalance

• arxiv url: http://arxiv.org/abs/2505.22154v1
• Date: Wed, 28 May 2025 09:18:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.529976
• Title: Learning A Robust RGB-Thermal Detector for Extreme Modality Imbalance
• Title（参考訳）: 極端モダリティ不均衡のためのロバストRGBサーマル検出器の学習
• Authors: Chao Tian, Chao Yang, Guoqing Zhu, Qiang Wang, Zhenyu He,
• Abstract要約: RGBサーマル(RGB-T)オブジェクト検出は、熱赤外(TIR)画像を用いてRGBデータを補完し、困難な条件下での堅牢性を改善する。 従来のRGB-T検出器は、両モードが等しく寄与するバランスの取れたトレーニングデータを仮定する。 本稿では,新しいベース・アンド・オシリリア検出器アーキテクチャを提案することで,これらの課題に対処する。
• 参考スコア（独自算出の注目度）: 10.189143024910598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RGB-Thermal (RGB-T) object detection utilizes thermal infrared (TIR) images to complement RGB data, improving robustness in challenging conditions. Traditional RGB-T detectors assume balanced training data, where both modalities contribute equally. However, in real-world scenarios, modality degradation-due to environmental factors or technical issues-can lead to extreme modality imbalance, causing out-of-distribution (OOD) issues during testing and disrupting model convergence during training. This paper addresses these challenges by proposing a novel base-and-auxiliary detector architecture. We introduce a modality interaction module to adaptively weigh modalities based on their quality and handle imbalanced samples effectively. Additionally, we leverage modality pseudo-degradation to simulate real-world imbalances in training data. The base detector, trained on high-quality pairs, provides a consistency constraint for the auxiliary detector, which receives degraded samples. This framework enhances model robustness, ensuring reliable performance even under severe modality degradation. Experimental results demonstrate the effectiveness of our method in handling extreme modality imbalances~(decreasing the Missing Rate by 55%) and improving performance across various baseline detectors.
• Abstract（参考訳）: RGBサーマル(RGB-T)オブジェクト検出は、熱赤外(TIR)画像を用いてRGBデータを補完し、困難な条件下での堅牢性を改善する。 従来のRGB-T検出器は、両モードが等しく寄与するバランスの取れたトレーニングデータを仮定する。 しかし、現実のシナリオでは、環境要因や技術的な問題によるモダリティの劣化は極端にモダリティの不均衡を引き起こし、トレーニング中のモデル収束を阻害するテストにおいて、アウト・オブ・ディストリビューション(OOD)の問題を引き起こす。 本稿では,新しいベース・アンド・オシリリア検出器アーキテクチャを提案することで,これらの課題に対処する。 本稿では,モダリティを適応的に測定し,不均衡なサンプルを効果的に処理するためのモダリティ相互作用モジュールを提案する。 さらに、トレーニングデータにおける実世界の不均衡をシミュレートするために、モダリティの擬似劣化を利用する。 高品質なペアで訓練されたベース検出器は、劣化したサンプルを受け取る補助検出器に対して一貫性の制約を提供する。 このフレームワークはモデルロバスト性を高め、厳格なモダリティ劣化であっても信頼性の高い性能を保証する。 実験結果から, 極端モード不均衡(損失率を55%向上させる)と, 各種ベースライン検出器の性能向上に本手法の有効性が示された。

関連論文リスト

• Diffusion Prior Interpolation for Flexibility Real-World Face Super-Resolution [48.34173818491552]
  拡散事前補間(DPI)は、一貫性と多様性のバランスをとることができ、事前訓練されたモデルにシームレスに統合することができる。 合成および実データに対して行われた広範な実験において、DPIはSOTA FSR法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-12-21T09:28:44Z)
• Energy Score-based Pseudo-Label Filtering and Adaptive Loss for Imbalanced Semi-supervised SAR target recognition [1.2035771704626825]
  既存の半教師付きSAR ATRアルゴリズムは、クラス不均衡の場合、認識精度が低い。 この研究は、動的エネルギースコアと適応損失を用いた非平衡半教師付きSAR目標認識手法を提供する。
  論文  参考訳（メタデータ） (2024-11-06T14:45:16Z)
• Automatically Adaptive Conformal Risk Control [49.95190019041905]
  本稿では,テストサンプルの難易度に適応して,統計的リスクの近似的条件制御を実現する手法を提案する。 我々のフレームワークは、ユーザが提供するコンディショニングイベントに基づく従来のコンディショニングリスク制御を超えて、コンディショニングに適した関数クラスのアルゴリズム的、データ駆動決定を行う。
  論文  参考訳（メタデータ） (2024-06-25T08:29:32Z)
• Feature Corrective Transfer Learning: End-to-End Solutions to Object Detection in Non-Ideal Visual Conditions [11.90136900277127]
  障害シナリオにおけるオブジェクトのエンドツーエンド検出を容易にする新しい手法として,"Feature Corrective Transfer Learning"がある。 非理想画像は、初期理想RGBモデルと特徴マップを比較して処理される。 このアプローチは、直接特徴写像補正により、様々な条件にまたがってオブジェクト検出を行うモデルの能力を洗練させる。
  論文  参考訳（メタデータ） (2024-04-17T09:58:53Z)
• Tensor Factorization for Leveraging Cross-Modal Knowledge in Data-Constrained Infrared Object Detection [22.60228799622782]
  赤外線画像における物体検出のボトルネックは、十分なラベル付きトレーニングデータがないことである。 我々は、RGBモードにおけるモデル性能を保ちながら、RGBモードからオブジェクト検出器をIRモードにスケールするために、RGBモードからの手がかりを活用しようとしている。 まず、これらの因子行列をRGBモードで事前トレーニングし、多くのトレーニングデータが存在すると仮定した後、IRモードでトレーニングするためのトレーニング可能なパラメータをわずかに増やして過度な適合を避ける。
  論文  参考訳（メタデータ） (2023-09-28T16:55:52Z)
• Single-Trajectory Distributionally Robust Reinforcement Learning [21.955807398493334]
  本研究では,分散ロバストRL (DRRL) を提案する。 既存のDRRLアルゴリズムはモデルベースか、1つのサンプル軌道から学習できないかのいずれかである。 単一軌道を用いた分散ロバストQ-ラーニング(DRQ)と呼ばれる,完全モデルフリーなDRRLアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-01-27T14:08:09Z)
• Model-based Deep Learning Receiver Design for Rate-Splitting Multiple Access [65.21117658030235]
  本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。 MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。 その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
  論文  参考訳（メタデータ） (2022-05-02T12:23:55Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Learning perturbation sets for robust machine learning [97.6757418136662]
  我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。 学習した摂動集合の質を定量的かつ質的に測定する。 我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-07-16T16:39:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。