論文の概要: FreqKD: Frequency-Decoupled Cross-Modal Knowledge Distillation for Infrared Object Detection
- arxiv url: http://arxiv.org/abs/2606.11572v1
- Date: Wed, 10 Jun 2026 01:55:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.247071
- Title: FreqKD: Frequency-Decoupled Cross-Modal Knowledge Distillation for Infrared Object Detection
- Title(参考訳): FreqKD:赤外線物体検出のための周波数分離型クロスモーダル知識蒸留
- Authors: Keval Thaker, Venkatraman Narayanan, Abdalmalek Aburaddaha, Samir A. Rawashdeh,
- Abstract要約: 大規模RGB基礎モデルから知識蒸留(KD)による赤外線画像への移行は依然として困難である。
本稿では,周波数分離蒸留フレームワークであるFreqKDを提案する。
KAISTマルチスペクトル歩行者検出では、FreqKDは64.1 mAP50を達成し、DINOv2ベースラインで2.4ポイント向上した。
- 参考スコア(独自算出の注目度): 2.4089107936585235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning from large-scale RGB foundation models to infrared (IR) imagery through knowledge distillation (KD) remains challenging due to fundamental differences in image formation physics. We investigate the spectral structure of the RGB--IR modality gap and observe that feature divergence is not uniform across spatial frequencies: low-frequency components (shape, layout) show greater cross-modal alignment than high-frequency components (texture, fine edges), which reflect modality-specific characteristics. Based on this analysis, we propose FreqKD, a frequency-decoupled distillation framework that applies asymmetric supervision adapted to each band's cross-modal consistency. The method employs strict mean squared error (MSE) on the low-frequency band to preserve shared structural information and a relaxed log-MSE loss (weighted at 0.1) on the high-frequency band to provide edge guidance while tolerating texture differences. Spectral divergence analysis on 500 paired samples shows that high-frequency divergence exceeds low-frequency divergence by a factor of 2.4x on average across all analysed transformer layers. On KAIST multispectral pedestrian detection, FreqKD achieves 64.1 mAP50, improving 2.4 points over the DINOv2 baseline. The learned representation transfers across datasets (FLIR ADAS, +2.1 mAP50), tasks (MFNet segmentation, +1.85 mean intersection-over-union), and architectures (ResNet-50, +1.0 mAP50). Code is available at: https://anonymous.4open.science/r/freq_decoupled_kd-5E5A
- Abstract(参考訳): 大規模RGB基礎モデルから知識蒸留(KD)による赤外線(IR)画像への変換学習は、画像形成物理の根本的な違いにより、依然として困難である。
低周波成分 (形状, レイアウト) は高周波成分 (テクスチャ, 細いエッジ) よりも高周波成分 (テクスチャ, 細いエッジ) の配向を示す。
そこで本研究では,周波数分離蒸留フレームワークであるFreqKDを提案する。
この方法は、低周波帯に厳密な平均二乗誤差(MSE)を用いて共有構造情報を保存し、高周波帯に緩やかな対数MSE損失(0.1の重み付け)を発生させ、テクスチャ差を許容しながらエッジガイダンスを提供する。
500対の試料のスペクトル偏差解析により,すべての変圧器層で平均2.4倍の周波数偏差が低周波偏差を超えることが示された。
KAISTマルチスペクトル歩行者検出では、FreqKDは64.1 mAP50を達成し、DINOv2ベースラインで2.4ポイント向上した。
学習された表現はデータセット(FLIR ADAS, +2.1 mAP50)、タスク(MFNetセグメンテーション、+1.85)、アーキテクチャ(ResNet-50, +1.0 mAP50)間で転送される。
https://anonymous.4open.science/r/freq_decoupled_kd-5E5A
関連論文リスト
- PF-Trans: Physics-Embedded Frequency-Aware Transformer for Spectral Reconstruction [9.122692658405116]
高忠実度リモートセンシングスペクトル再構成のための物理埋め込み周波数対応変換器(PF-Trans)を提案する。
PF-Transは最先端のパフォーマンスを実現し、GF-5上海データセット上で最大48.50dBのピーク信号対雑音比(PSNR)を達成する。
論文 参考訳(メタデータ) (2026-06-09T03:34:34Z) - SONAR: Spectral-Contrastive Audio Residuals for Generalizable Deepfake Detection [6.042897432654865]
Spectral-cONtrastive Audio Residuals (AR)は、ディープフェイクオーディオ検出器のための周波数誘導フレームワークである。
ARは音声信号を補完表現に切り離す。
ASVspoof 2021およびin-the-wildベンチマークで評価した。
論文 参考訳(メタデータ) (2025-11-26T12:16:38Z) - Freqformer: Image-Demoiréing Transformer via Efficient Frequency Decomposition [83.40450475728792]
本稿では,Freqformerについて述べる。Freqformerは,ターゲット周波数分離による画像復号化に特化して設計されたトランスフォーマーベースのフレームワークである。
本手法は,モワールパターンを高周波数空間局在化テクスチャと低周波数スケールローバスト色歪みに明確に分割する有効な周波数分解を行う。
様々なデモアのベンチマーク実験により、Freqformerは、コンパクトなモデルサイズで最先端のパフォーマンスを達成することを示した。
論文 参考訳(メタデータ) (2025-05-25T12:23:10Z) - PAD: Phase-Amplitude Decoupling Fusion for Multi-Modal Land Cover Classification [49.37555541088792]
位相振幅デカップリング(PAD)は、位相(モダリティ共有)と振幅(モダリティ補完)を分離する周波数対応のフレームワークである。
この研究は、リモートセンシングにおける物理を意識したマルチモーダル融合の新しいパラダイムを確立する。
論文 参考訳(メタデータ) (2025-04-27T07:21:42Z) - Bringing RGB and IR Together: Hierarchical Multi-Modal Enhancement for Robust Transmission Line Detection [67.02804741856512]
高速かつ高精度なTL検出のために,RGBとIRデータを統合したHMMEN(Hierarchical Multi-Modal Enhancement Network)を提案する。
提案手法では,(1)階層的RGBおよびIR特徴写像を大まかに融合・拡張するMMEB,(2)デコーダ出力とIR特徴写像の不整合を変形可能な畳み込みを利用して補正するFAB,の2つの重要な構成要素を紹介する。
論文 参考訳(メタデータ) (2025-01-25T06:21:06Z) - Deep Fourier-embedded Network for RGB and Thermal Salient Object Detection [15.470610918037243]
本稿では,正確なRGB-T SODのための純粋フーリエ変換モデルであるDeep Fourier-embedded Network (FreqSal)を提案する。
具体的には,Fast Fourier Transformの効率を線形複雑化して3つの重要なコンポーネントを設計する。
10のバイモーダルSODベンチマークデータセットに対する実験では、FreqSalが既存の29のバイモーダルSODモデルより優れていることが示されている。
論文 参考訳(メタデータ) (2024-11-27T14:55:16Z) - Frequency Domain Modality-invariant Feature Learning for
Visible-infrared Person Re-Identification [79.9402521412239]
本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。
我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
論文 参考訳(メタデータ) (2024-01-03T17:11:27Z) - Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。
我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-03-27T14:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。