論文の概要: Exploring Multi-Timestep Multi-Stage Diffusion Features for Hyperspectral Image Classification
- arxiv url: http://arxiv.org/abs/2306.08964v2
- Date: Mon, 3 Jun 2024 04:50:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 21:20:11.243583
- Title: Exploring Multi-Timestep Multi-Stage Diffusion Features for Hyperspectral Image Classification
- Title（参考訳）: ハイパースペクトル画像分類のための多段階多段階拡散特性の探索
- Authors: Jingyi Zhou, Jiamu Sheng, Jiayuan Fan, Peng Ye, Tong He, Bin Wang, Tao Chen,
- Abstract要約: 拡散に基づくHSI分類法は,手動で選択した単一段階の特徴のみを利用する。
MTMSDと呼ばれる,HSI分類のための多段階多段階拡散機能を初めて検討した,拡散に基づく新しい特徴学習フレームワークを提案する。
提案手法は,HSI分類の最先端手法,特にヒューストン2018データセットより優れている。
- 参考スコア（独自算出の注目度）: 16.724299091453844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The effectiveness of spectral-spatial feature learning is crucial for the hyperspectral image (HSI) classification task. Diffusion models, as a new class of groundbreaking generative models, have the ability to learn both contextual semantics and textual details from the distinct timestep dimension, enabling the modeling of complex spectral-spatial relations in HSIs. However, existing diffusion-based HSI classification methods only utilize manually selected single-timestep single-stage features, limiting the full exploration and exploitation of rich contextual semantics and textual information hidden in the diffusion model. To address this issue, we propose a novel diffusion-based feature learning framework that explores Multi-Timestep Multi-Stage Diffusion features for HSI classification for the first time, called MTMSD. Specifically, the diffusion model is first pretrained with unlabeled HSI patches to mine the connotation of unlabeled data, and then is used to extract the multi-timestep multi-stage diffusion features. To effectively and efficiently leverage multi-timestep multi-stage features,two strategies are further developed. One strategy is class & timestep-oriented multi-stage feature purification module with the inter-class and inter-timestep prior for reducing the redundancy of multi-stage features and alleviating memory constraints. The other one is selective timestep feature fusion module with the guidance of global features to adaptively select different timestep features for integrating texture and semantics. Both strategies facilitate the generality and adaptability of the MTMSD framework for diverse patterns of different HSI data. Extensive experiments are conducted on four public HSI datasets, and the results demonstrate that our method outperforms state-of-the-art methods for HSI classification, especially on the challenging Houston 2018 dataset.
- Abstract（参考訳）: スペクトル空間特徴学習の有効性は、ハイパースペクトル画像(HSI)分類タスクにおいて重要である。
拡散モデルは、新たな基盤となる生成モデルのクラスとして、異なる時間ステップ次元から文脈意味論とテキスト詳細の両方を学ぶ能力を持ち、HSIにおける複雑なスペクトル-空間関係のモデリングを可能にする。
しかし、既存の拡散に基づくHSI分類法は、拡散モデルに隠されたリッチな文脈意味論とテキスト情報の完全な探索と活用を制限し、手動で選択した単一段階の特徴のみを利用する。
この問題に対処するために,HSI分類のためのマルチステップ多段階拡散機能(MTMSD)を初めて検討する,拡散に基づく新しい特徴学習フレームワークを提案する。
具体的には、拡散モデルをまずラベルなしHSIパッチで事前訓練し、ラベルなしデータの意味をマイニングし、マルチステップ多段拡散特徴を抽出する。
マルチステップのマルチステージ特徴を効果的かつ効率的に活用するため、さらに2つの戦略が開発されている。
1つの戦略は、クラスとタイムステップ指向のマルチステージ機能浄化モジュールで、クラス間とタイムステップ間は、マルチステージ機能の冗長性を低減し、メモリ制約を軽減する。
もうひとつは、グローバル機能のガイダンスを備えた選択タイムステップ機能融合モジュールで、テクスチャとセマンティクスを統合するために、異なるタイムステップ機能を適応的に選択する。
どちらの戦略も、様々なHSIデータのパターンに対するMTMSDフレームワークの汎用性と適応性を促進する。
大規模な実験は4つの公開HSIデータセットで行われ、その結果、HSI分類のための最先端の手法、特にHouston 2018データセットよりも優れた結果が得られた。
関連論文リスト
- AMFD: Distillation via Adaptive Multimodal Fusion for Multispectral Pedestrian Detection [23.91870504363899]
マルチスペクトル検出におけるダブルストリームネットワークは、マルチモーダルデータに2つの異なる特徴抽出枝を用いる。
これにより、組み込みデバイスにおける多スペクトル歩行者検出が自律システムに広く採用されるのを妨げている。
本稿では,教師ネットワークの本来のモーダル特徴を完全に活用できる適応型モーダル核融合蒸留(AMFD)フレームワークについて紹介する。
論文 参考訳（メタデータ） (2024-05-21T17:17:17Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - Embedded feature selection in LSTM networks with multi-objective
evolutionary ensemble learning for time series forecasting [49.1574468325115]
本稿では,Long Short-Term Memory Networkに埋め込まれた特徴選択手法を提案する。
本手法はLSTMの重みと偏りを分割的に最適化する。
イタリアとスペイン南東部の大気質時系列データの実験的評価により,従来のLSTMの能力一般化が著しく向上することが確認された。
論文 参考訳（メタデータ） (2023-12-29T08:42:10Z) - A Multi-Stage Adaptive Feature Fusion Neural Network for Multimodal Gait
Recognition [15.080096318551346]
多くの既存の歩行認識アルゴリズムは単調であり、少数のマルチモーダル歩行認識アルゴリズムは一度だけマルチモーダル融合を行う。
特徴抽出プロセスの異なる段階において多段階の融合を行う多段階特徴融合戦略(MSFFS)を提案する。
また,シルエットと骨格のセマンティックな関連性を考慮したAFFM(Adaptive Feature fusion Module)を提案する。
論文 参考訳（メタデータ） (2023-12-22T03:25:15Z) - Unsupervised Multi-modal Feature Alignment for Time Series
Representation Learning [20.655943795843037]
異なるモダリティから符号化された時系列表現の整合と結合に焦点を当てた革新的なアプローチを導入する。
複数のモーダルから特徴を融合させる従来の手法とは対照的に,提案手法は単一時系列エンコーダを保持することにより,ニューラルアーキテクチャを単純化する。
我々のアプローチは、様々な下流タスクにまたがる既存の最先端のURLメソッドよりも優れています。
論文 参考訳（メタデータ） (2023-12-09T22:31:20Z) - DiffSpectralNet : Unveiling the Potential of Diffusion Models for
Hyperspectral Image Classification [6.521187080027966]
我々は拡散と変圧器技術を組み合わせたDiffSpectralNetと呼ばれる新しいネットワークを提案する。
まず,拡散モデルに基づく教師なし学習フレームワークを用いて,高レベル・低レベルのスペクトル空間的特徴を抽出する。
この拡散法はスペクトル空間の特徴を多様かつ有意義に抽出し,HSI分類の改善につながる。
論文 参考訳（メタデータ） (2023-10-29T15:26:37Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳（メタデータ） (2023-09-22T06:55:41Z) - Video Semantic Segmentation with Inter-Frame Feature Fusion and
Inner-Frame Feature Refinement [39.06589186472675]
マルチフレーム特徴量間の密接なペア関係をモデル化するための時空間融合(STF)モジュールを提案する。
さらに,セマンティックバウンダリ間の困難な予測に対処するために,メモリ拡張改良(MAR)モジュールを提案する。
論文 参考訳（メタデータ） (2023-01-10T07:57:05Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-05T04:04:37Z) - Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。
我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。
ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
論文 参考訳（メタデータ） (2022-02-10T06:23:56Z) - Supervised Feature Subset Selection and Feature Ranking for Multivariate
Time Series without Feature Extraction [78.84356269545157]
MTS分類のための教師付き特徴ランキングと特徴サブセット選択アルゴリズムを導入する。
MTSの既存の教師なし特徴選択アルゴリズムとは異なり、我々の手法は時系列から一次元特徴ベクトルを生成するために特徴抽出ステップを必要としない。
論文 参考訳（メタデータ） (2020-05-01T07:46:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。