論文の概要: SFKD: Spatial--Frequency Joint-Aware Heterogeneous Knowledge Distillation via Multi-Level Wavelet Spectral Interaction

• arxiv url: http://arxiv.org/abs/2607.01906v1
• Date: Thu, 02 Jul 2026 09:05:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.752984
• Title: SFKD: Spatial--Frequency Joint-Aware Heterogeneous Knowledge Distillation via Multi-Level Wavelet Spectral Interaction
• Title（参考訳）: SFKD:マルチレベルウェーブレットスペクトル相互作用による空間周波数結合型不均一知識蒸留
• Authors: Cuipeng Wang, Haipeng Wang,
• Abstract要約: 空間周波数連成不均一知識蒸留フレームワーク(SFKD)を提案する。 まず、空間情報を明示的に分離するために、マルチレベル離散ウェーブレット変換を適用する。 結果として生じるウェーブレットサブバンドは、デュアルストリームのデュアルステージ精製モジュールによってさらに洗練される。
• 参考スコア（独自算出の注目度）: 2.0401874889991887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing knowledge distillation methods focus on homogeneous models (e.g., CNN-to-CNN), thereby overlooking the flexibility and potential of knowledge transfer across heterogeneous models. Due to intrinsic inductive bias discrepancies between heterogeneous models that cause spatial distribution inconsistencies, prior heterogeneous distillation methods often weaken or discard spatial information in heterogeneous representations. However, the spatial information in representations often encodes transferable global structural semantics as well as architecture-specific local details, and therefore should not be directly ignored. To better leverage the spatial information encoded in heterogeneous representations, we propose a Spatial-Frequency Joint-Aware Heterogeneous Knowledge Distillation framework (SFKD). By leveraging the complementary properties of wavelet transform spatial locality and Fourier representations in characterizing global energy distributions, we first apply multi-level discrete wavelet transform to explicitly decouple spatial information. The resulting wavelet sub-bands are further refined by a dual-stream dual-stage refinement module, and finally combined with a Gaussian-filtered frequency loss to selectively capture informative global information. Extensive experiments on multiple benchmark datasets under both homogeneous and heterogeneous models demonstrate the superiority of our method.
• Abstract（参考訳）: 既存の知識蒸留法の多くは同種モデル(例えばCNN-to-CNN)に焦点を当てており、したがって異種モデル間の知識伝達の柔軟性と可能性を見越すことになる。 空間分布の不整合を引き起こす異種モデル間の固有の誘導バイアスの相違により、以前の異種蒸留法は異種表現において空間情報を弱めたり破棄したりすることが多い。 しかし、表現における空間情報は、しばしば転送可能なグローバルな構造的意味論とアーキテクチャ固有の局所的な詳細を符号化するので、直接無視するべきではない。 ヘテロジニアス表現に符号化された空間情報をよりよく活用するために,空間周波数結合型異種知識蒸留フレームワーク (SFKD) を提案する。 ウェーブレット変換の空間的局所性とフーリエ表現の相補的特性を利用して大域エネルギー分布を特徴付けることにより、まず、空間情報を明示的に切り離すためにマルチレベル離散ウェーブレット変換を適用する。 得られたウェーブレットサブバンドは、デュアルストリームのデュアルステージリファインメントモジュールによってさらに洗練され、最終的にガウスフィルタの周波数損失と組み合わせて、情報的グローバル情報を選択的に取得する。 等質モデルと異質モデルの両方を用いた複数のベンチマークデータセットの大規模な実験により,本手法の優位性を示した。

関連論文リスト

• Spectral Property-Driven Data Augmentation for Hyperspectral Single-Source Domain Generalization [13.335941336922446]
  ハイパースペクトル画像は、分類のための豊富な情報を提供する多くのスペクトルチャネルの恩恵を受ける。 次元の増大とセンサーの変動により、ドメイン間の分布の差異に敏感になる。 本研究では, スペクトル特性駆動型データ拡張法(SPDDA)を提案する。
  論文  参考訳（メタデータ） (2026-03-17T15:30:28Z)
• Cross-Domain Transfer with Self-Supervised Spectral-Spatial Modeling for Hyperspectral Image Classification [5.784164305429653]
  本稿では,自己管理型クロスドメイン転送フレームワークを提案する。 ソースラベルなしで伝送可能なスペクトル-空間結合表現を学習する。 実験結果は、安定した分類性能と強いクロスドメイン適応性を示す。
  論文  参考訳（メタデータ） (2026-01-26T02:52:35Z)
• Knowledge-guided Complex Diffusion Model for PolSAR Image Classification in Contourlet Domain [58.46450049579116]
  本稿では,Contourlet領域におけるPolSAR画像分類のための知識誘導複合拡散モデルを提案する。 具体的には、まずデータを低周波サブバンドと高周波サブバンドに分解するためにContourlet変換を適用する。 次に、低周波成分の統計特性をモデル化するために、知識誘導複合拡散ネットワークを設計する。
  論文  参考訳（メタデータ） (2025-07-08T04:50:28Z)
• Frequency Domain-Based Diffusion Model for Unpaired Image Dehazing [92.61216319417208]
  そこで本稿では,未確認データにおける有益な知識を十分に活用するための,新しい周波数領域ベース拡散モデルを提案する。 拡散モデル(DM)が示す強い生成能力に着想を得て,周波数領域再構成の観点からデハージング課題に取り組む。
  論文  参考訳（メタデータ） (2025-07-02T01:22:46Z)
• Controllable diffusion-based generation for multi-channel biological data [66.44042377817074]
  本研究では, 構造的および空間的生物学的データに対する制御可能生成のための統合拡散フレームワークを提案する。 空間的および非空間的予測タスクにまたがって,IMCにおけるタンパク質のインパルス化や単一セルデータセットにおける遺伝子対タンパク質の予測など,最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-06-24T00:56:21Z)
• A Hybrid Wavelet-Fourier Method for Next-Generation Conditional Diffusion Models [0.0]
  本稿では、拡散パラダイムをハイブリッド周波数表現に適応させる新しい生成モデリングフレームワーク、Wavelet-Fourier-Diffusionを提案する。 ハイブリッド周波数に基づく表現は,大域的コヒーレンスと微妙なテクスチャ合成の制御をいかに改善するかを示す。
  論文  参考訳（メタデータ） (2025-04-04T17:11:04Z)
• Generative Learning of Densities on Manifolds [3.081704060720176]
  拡散モデルと多様体学習を組み合わせた生成モデリングフレームワークを提案する。 このアプローチは拡散マップを用いて、高次元データ(周囲)空間の低次元(ラテント)空間を発見できる。
  論文  参考訳（メタデータ） (2025-03-05T23:29:06Z)
• Stochastic Reconstruction of Gappy Lagrangian Turbulent Signals by Conditional Diffusion Models [1.7810134788247751]
  本研究では, 乱流によって受動的に対流する小物体の軌道に沿って, 空間・速度の欠落を再現する手法を提案する。 近年提案されているデータ駆動機械学習技術である条件付き生成拡散モデルを利用する。
  論文  参考訳（メタデータ） (2024-10-31T14:26:10Z)
• GLAD: Towards Better Reconstruction with Global and Local Adaptive Diffusion Models for Unsupervised Anomaly Detection [60.78684630040313]
  拡散モデルは、特定のノイズを付加したテスト画像の通常の画像を再構成する傾向がある。 世界的視点から見ると、異なる異常による画像再構成の難しさは不均一である。 本稿では,非教師付き異常検出のためのグローバルかつ局所的な適応拡散モデル(GLADと略す)を提案する。
  論文  参考訳（メタデータ） (2024-06-11T17:27:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。