論文の概要: Shifting Focus by Reliability: Geometric Fusion Modulation for Robust RGB-T Detection
- arxiv url: http://arxiv.org/abs/2610.41204v1
- Date: Fri, 30 Oct 2026 03:26:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.607554
- Title: Shifting Focus by Reliability: Geometric Fusion Modulation for Robust RGB-T Detection
- Title(参考訳): 信頼性に焦点を移す:ロバストRGB-T検出のための幾何学的融合変調
- Abstract要約: 復元ベースの手法は大きな遅延を発生させ、下流の精度を常に改善しない。
従来のPEFTは効率的な経路を提供するが、入力非依存の修正は様々なテストタイムの腐敗を追跡することはできない。
本稿では,RGB-Tオブジェクト検出器を推定された破損タイプと各モードの重大度に適応させるPG-FMを提案する。
- 参考スコア(独自算出の注目度): 6.771655378222877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: RGB-thermal (RGB-T) object detectors combine visible and thermal imagery for robust detection, but signal corruption in either stream can substantially degrade accuracy. Restoration-based methods incur significant latency and do not consistently improve downstream accuracy, raising a more direct question: rather than restoring corrupted inputs, can we efficiently adapt the detector to their varying signal quality? Conventional PEFT offers an efficient route, but its input-independent corrections cannot track diverse test-time corruptions. Our controlled corruption sweeps show that corruption types have similar effects near clean conditions but diverge increasingly with severity, motivating corruption-aware, per-input adaptation. We therefore propose PG-FM (Prompt-Guided Feature Modulation), which adapts RGB-T object detectors to the estimated corruption type and severity of each modality. Under controlled RGB-T corruption simulations, PG-FM preserves clean-set performance, improves mAP50 by up to 20.8 points on FLIR and 19.9 points on KAIST, and transfers without retraining to unmodified, naturally acquired external RGB-T datasets.
- Abstract(参考訳): RGB-thermal(RGB-T)オブジェクト検出器は、可視画像と熱画像を組み合わせてロバストな検出を行うが、どちらのストリームでも信号の劣化は著しく精度が低下する。
劣化した入力を復元する代わりに、検出器を様々な信号品質に効率的に適応できるだろうか?
従来のPEFTは効率的な経路を提供するが、入力非依存の修正は様々なテストタイムの腐敗を追跡することはできない。
制御された汚職調査では、汚職のタイプはクリーンな状態に近いが、深刻さ、汚職に気付き、インプットごとの適応を動機づける傾向が増している。
そこで本研究では,RGB-Tオブジェクト検出器を各モードの破損タイプと重症度に適応させるPG-FM(Prompt-Guided Feature Modulation)を提案する。
制御されたRGB-Tの汚職シミュレーションでは、PG-FMはクリーンセットのパフォーマンスを保ち、FLIRで最大20.8ポイント、KAISTで19.9ポイント改善し、修正されていない自然に取得された外部RGB-Tデータセットに再トレーニングせずに転送する。
関連論文リスト
- Reliability-Consistent Appearance Modeling for RGB-Infrared Multi-Object Tracking [70.91326539256316]
信頼性に一貫性のある外観モデリングフレームワークであるRCA-MOTを提案する。
モダリティ間の相補性を保ちながら、表現後証拠の制御性を保っている。
RCA-MOTはVT-MOTとUniRTLに新しいSOTA結果を設定し、以前の最高のHOTAを5.402/6.075ポイント、IDF1を11.549/12.789ポイント改善した。
論文 参考訳(メタデータ) (2026-10-16T08:30:48Z) - SenseWeather: Multimodal Sensing for Robust Robotic Perception under Extreme Conditions [40.27206816302145]
本稿では,タスク互換のRGB観測を上流で再現できるかどうかについて検討する。
豪雨,雪,ほこり,霧,闇の下でのロボット知覚のための制御されたマルチモーダル・ベンチマークであるSenseWeatherを紹介した。
拡散変換器のためのトークン空間融合に基づく2つのパラメータ効率のセンサフュージョンを実現するFusion-to-RGBを開発した。
論文 参考訳(メタデータ) (2026-10-08T12:56:42Z) - Active Adversarial Perturbation-driven Associative Memory Retrieval for RGB-Event Visual Object Tracking [58.338848435042536]
RGB-Eventトラッキングは、イベントセンサからRGB外観テクスチャと高密度時間運動キューを融合することにより、ローカライズを改善する。
現実世界のシーンは、従来のマルチモーダル融合を妨げる多様な構造的な信号劣化に悩まされる。
本稿では,RGBイベント追跡に適した階層的摂動・検索フレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-24T23:34:06Z) - Cross-Modal Alignment and Fusion for RGB-D Transmission-Line Defect Detection [11.637942429146172]
本稿では,RGBの外観と深度幾何学を原理化されたヒューズ・パラダイムを通じて統合したクロスモーダルアライメント・アンド・フュージョン・ネットワークであるCMAFNetを提案する。
CMAFNetは、辞書ベースの特徴浄化を行うセマンティック再構成モジュールで構成されている。
軽量な派生型は228 FPSで24.8% mAP50に達し、わずか4.9Mのパラメータしか持たない。
論文 参考訳(メタデータ) (2026-02-02T06:11:33Z) - Modality-Decoupled RGB-Thermal Object Detector via Query Fusion [15.717929078660227]
本稿では,モダリティ補間と分離のバランスをとるために,MDQF (Query Fusion) を用いたモダリティ分離RGB-T検出フレームワークを提案する。
提案手法は既存のRGB-T検出器に優れた性能を提供し,モダリティ独立性を向上する。
論文 参考訳(メタデータ) (2026-01-13T11:32:29Z) - DiffRegCD: Integrated Registration and Change Detection with Diffusion Features [74.3102451211493]
DiffRegCDは、単一のモデルで密度の高い登録と変更検出を統一する統合フレームワークである。
空中(LEVIR-CD, DSIFN-CD, WHU-CD, SYSU-CD)と地上(VL-CMU-CD)のデータセットによる実験は、DiffRegCDが最近のベースラインを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2025-11-11T07:32:19Z) - Learning A Robust RGB-Thermal Detector for Extreme Modality Imbalance [10.189143024910598]
RGBサーマル(RGB-T)オブジェクト検出は、熱赤外(TIR)画像を用いてRGBデータを補完し、困難な条件下での堅牢性を改善する。
従来のRGB-T検出器は、両モードが等しく寄与するバランスの取れたトレーニングデータを仮定する。
本稿では,新しいベース・アンド・オシリリア検出器アーキテクチャを提案することで,これらの課題に対処する。
論文 参考訳(メタデータ) (2025-05-28T09:18:55Z) - Bringing RGB and IR Together: Hierarchical Multi-Modal Enhancement for Robust Transmission Line Detection [67.02804741856512]
高速かつ高精度なTL検出のために,RGBとIRデータを統合したHMMEN(Hierarchical Multi-Modal Enhancement Network)を提案する。
提案手法では,(1)階層的RGBおよびIR特徴写像を大まかに融合・拡張するMMEB,(2)デコーダ出力とIR特徴写像の不整合を変形可能な畳み込みを利用して補正するFAB,の2つの重要な構成要素を紹介する。
論文 参考訳(メタデータ) (2025-01-25T06:21:06Z) - Enhancing Infrared Small Target Detection Robustness with Bi-Level
Adversarial Framework [61.34862133870934]
本稿では,異なる汚職の存在下での検出の堅牢性を促進するために,二段階の対向的枠組みを提案する。
我々の手法は広範囲の汚職で21.96%のIOUを著しく改善し、特に一般ベンチマークで4.97%のIOUを推進している。
論文 参考訳(メタデータ) (2023-09-03T06:35:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。