論文の概要: HyperKD: Distilling Cross-Spectral Knowledge in Masked Autoencoders via Inverse Domain Shift with Spatial-Aware Masking and Specialized Loss

• arxiv url: http://arxiv.org/abs/2508.09453v1
• Date: Wed, 13 Aug 2025 03:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.737492
• Title: HyperKD: Distilling Cross-Spectral Knowledge in Masked Autoencoders via Inverse Domain Shift with Spatial-Aware Masking and Specialized Loss
• Title（参考訳）: HyperKD:空間認識型マスキングと特殊損失を用いた逆ドメインシフトによるマスクオートエンコーダのクロススペクトル知識の蒸留
• Authors: Abdul Matin, Tanjim Bin Faruk, Shrideep Pallickara, Sangmi Lee Pallickara,
• Abstract要約: HyperKDは,教師モデルから生徒モデルへの学習表現の伝達を可能にする,新しい知識蒸留フレームワークである。 Masked AutoencoderをベースとしたHyperKDは、Prithviの基礎モデルからEnMAPハイパースペクトル画像に適した学生に知識を蒸留する。
• 参考スコア（独自算出の注目度）: 1.1999555634662633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of foundation models, pretrained on large-scale unlabeled datasets, has emerged as an effective approach in creating adaptable and reusable architectures that can be leveraged for various downstream tasks using satellite observations. However, their direct application to hyperspectral remote sensing remains challenging due to inherent spectral disparities and the scarcity of available observations. In this work, we present HyperKD, a novel knowledge distillation framework that enables transferring learned representations from a teacher model into a student model for effective development of a foundation model on hyperspectral images. Unlike typical knowledge distillation frameworks, which use a complex teacher to guide a simpler student, HyperKD enables an inverse form of knowledge transfer across different types of spectral data, guided by a simpler teacher model. Building upon a Masked Autoencoder, HyperKD distills knowledge from the Prithvi foundational model into a student tailored for EnMAP hyperspectral imagery. HyperKD addresses the inverse domain adaptation problem with spectral gaps by introducing a feature-based strategy that includes spectral range-based channel alignment, spatial feature-guided masking, and an enhanced loss function tailored for hyperspectral images. HyperKD bridges the substantial spectral domain gap, enabling the effective use of pretrained foundation models for geospatial applications. Extensive experiments show that HyperKD significantly improves representation learning in MAEs, leading to enhanced reconstruction fidelity and more robust performance on downstream tasks such as land cover classification, crop type identification, and soil organic carbon prediction, underpinning the potential of knowledge distillation frameworks in remote sensing analytics with hyperspectral imagery.
• Abstract（参考訳）: 大規模未ラベルデータセットで事前訓練された基礎モデルの拡散は、衛星観測を用いて下流の様々なタスクに活用できる適応可能で再利用可能なアーキテクチャを作成するための効果的なアプローチとして現れてきた。 しかし、高スペクトルリモートセンシングへの直接的応用は、固有のスペクトルの相違と可観測量の不足により、依然として困難である。 本研究では,教師モデルから学生モデルへの学習表現の伝達を可能にする新しい知識蒸留フレームワークであるHyperKDについて述べる。 複雑な教師を使ってより単純な生徒を導く典型的な知識蒸留フレームワークとは異なり、HyperKDは単純な教師モデルによってガイドされる様々な種類のスペクトルデータ間での知識伝達の逆形式を可能にする。 Masked AutoencoderをベースとしたHyperKDは、Prithviの基礎モデルからEnMAPハイパースペクトル画像に適した学生に知識を蒸留する。 HyperKDは、スペクトル範囲に基づくチャネルアライメント、空間的特徴誘導マスキング、ハイパースペクトル画像用に調整された損失関数を含む特徴ベースの戦略を導入することで、スペクトルギャップを伴う逆領域適応問題に対処する。 HyperKDは相当なスペクトル領域ギャップを橋渡しし、地理空間的応用に事前訓練された基礎モデルの有効利用を可能にした。 広汎な実験により,HyperKDはMAEの表現学習を著しく改善し,土地被覆分類,作物タイプ同定,土壌有機炭素予測などの下流作業における再現忠実度の向上と堅牢性の向上を実現し,ハイパースペクトル画像を用いたリモートセンシング分析における知識蒸留フレームワークの可能性が示唆された。

関連論文リスト

• Adversarial Curriculum Graph-Free Knowledge Distillation for Graph Neural Networks [61.608453110751206]
  本稿では,グラフニューラルネットワークのための高速かつ高品質なデータフリー知識蒸留手法を提案する。 グラフフリーKD法(ACGKD)は擬似グラフの空間的複雑さを著しく低減する。 ACGKDは、生徒の次元を拡大することで、生徒と教師のモデル間の次元のあいまいさを取り除く。
  論文  参考訳（メタデータ） (2025-04-01T08:44:27Z)
• Towards Scalable Foundation Model for Multi-modal and Hyperspectral Geospatial Data [14.104497777255137]
  本稿では,3つのイノベーションを取り入れた高効率空間スペクトル変換器について紹介する。 位置マスキングとチャネルマスキングを統合したHyperspectral Masked Autoencoderフレームワークを用いたLESS ViTの事前訓練を行った。 実験により, 提案手法は, 最先端のマルチモーダル地空間基盤モデルと競合する性能を示す。
  論文  参考訳（メタデータ） (2025-03-17T05:42:19Z)
• Spatial-Spectral Diffusion Contrastive Representation Network for Hyperspectral Image Classification [8.600534616819333]
  本稿では,空間スペクトル拡散コントラスト表現ネットワーク(DiffCRN)を提案する。 DiffCRNは、高スペクトル画像分類のための拡散確率モデル(DDPM)とコントラスト学習(CL)の組み合わせに基づく。 広く使われている4つのHSIデータセットを用いて実験を行い、提案したDiffCRNの性能改善を実証した。
  論文  参考訳（メタデータ） (2025-02-27T02:34:23Z)
• Fuse Before Transfer: Knowledge Fusion for Heterogeneous Distillation [52.0297393822012]
  異質な教師と学生間の機能的知識の伝達を容易にするために,橋梁としてアシスタントモデルを導入する。 提案した設計原理の中では, クロスアーキテクチャ帰納バイアスとモジュール関数の利点を組み合わせたアシスタントモデルが提案されている。 提案手法は, CNN, ViT, 空間KDの同種モデルペアと任意の異種組み合わせを用いて評価する。
  論文  参考訳（メタデータ） (2024-10-16T08:02:49Z)
• HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
  Hyper SIGMAは、タスクやシーン間でHSI解釈を統合するビジョントランスフォーマーベースの基礎モデルである。 さらに,約450Kのハイパースペクトル画像を含む,事前学習のための大規模ハイパースペクトルデータセットHyperGlobal-450Kを構築した。
  論文  参考訳（メタデータ） (2024-06-17T13:22:58Z)
• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Anomaly Detection via Reverse Distillation from One-Class Embedding [2.715884199292287]
  教師エンコーダと生徒デコーダからなる新しいT-Sモデルを提案する。 生画像を直接受信する代わりに、学生ネットワークは教師モデルの1クラス埋め込みを入力として取り込む。 さらに、T-Sモデルにトレーニング可能な1クラスボトルネック埋め込みモジュールを導入する。
  論文  参考訳（メタデータ） (2022-01-26T01:48:37Z)
• A Trainable Spectral-Spatial Sparse Coding Model for Hyperspectral Image Restoration [36.525810477650026]
  ハイパースペクトルイメージングは様々な用途に新しい視点を提供する。 地上に正確な「クリーン」ハイパースペクトル信号がないため、修復作業は困難である。 本稿では、疎結合な符号化原理に基づくハイブリッドアプローチを提唱する。
  論文  参考訳（メタデータ） (2021-11-18T14:16:04Z)
• Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery [79.69449412334188]
  本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。 本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。 実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
  論文  参考訳（メタデータ） (2020-05-18T14:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。