論文の概要: Exploring Multi-Timestep Multi-Stage Diffusion Features for Hyperspectral Image Classification
- arxiv url: http://arxiv.org/abs/2306.08964v2
- Date: Mon, 3 Jun 2024 04:50:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 21:20:11.243583
- Title: Exploring Multi-Timestep Multi-Stage Diffusion Features for Hyperspectral Image Classification
- Title（参考訳）: ハイパースペクトル画像分類のための多段階多段階拡散特性の探索
- Authors: Jingyi Zhou, Jiamu Sheng, Jiayuan Fan, Peng Ye, Tong He, Bin Wang, Tao Chen,
- Abstract要約: 拡散に基づくHSI分類法は,手動で選択した単一段階の特徴のみを利用する。
MTMSDと呼ばれる,HSI分類のための多段階多段階拡散機能を初めて検討した,拡散に基づく新しい特徴学習フレームワークを提案する。
提案手法は,HSI分類の最先端手法,特にヒューストン2018データセットより優れている。
- 参考スコア（独自算出の注目度）: 16.724299091453844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The effectiveness of spectral-spatial feature learning is crucial for the hyperspectral image (HSI) classification task. Diffusion models, as a new class of groundbreaking generative models, have the ability to learn both contextual semantics and textual details from the distinct timestep dimension, enabling the modeling of complex spectral-spatial relations in HSIs. However, existing diffusion-based HSI classification methods only utilize manually selected single-timestep single-stage features, limiting the full exploration and exploitation of rich contextual semantics and textual information hidden in the diffusion model. To address this issue, we propose a novel diffusion-based feature learning framework that explores Multi-Timestep Multi-Stage Diffusion features for HSI classification for the first time, called MTMSD. Specifically, the diffusion model is first pretrained with unlabeled HSI patches to mine the connotation of unlabeled data, and then is used to extract the multi-timestep multi-stage diffusion features. To effectively and efficiently leverage multi-timestep multi-stage features,two strategies are further developed. One strategy is class & timestep-oriented multi-stage feature purification module with the inter-class and inter-timestep prior for reducing the redundancy of multi-stage features and alleviating memory constraints. The other one is selective timestep feature fusion module with the guidance of global features to adaptively select different timestep features for integrating texture and semantics. Both strategies facilitate the generality and adaptability of the MTMSD framework for diverse patterns of different HSI data. Extensive experiments are conducted on four public HSI datasets, and the results demonstrate that our method outperforms state-of-the-art methods for HSI classification, especially on the challenging Houston 2018 dataset.
- Abstract（参考訳）: スペクトル空間特徴学習の有効性は、ハイパースペクトル画像(HSI)分類タスクにおいて重要である。
拡散モデルは、新たな基盤となる生成モデルのクラスとして、異なる時間ステップ次元から文脈意味論とテキスト詳細の両方を学ぶ能力を持ち、HSIにおける複雑なスペクトル-空間関係のモデリングを可能にする。
しかし、既存の拡散に基づくHSI分類法は、拡散モデルに隠されたリッチな文脈意味論とテキスト情報の完全な探索と活用を制限し、手動で選択した単一段階の特徴のみを利用する。
この問題に対処するために,HSI分類のためのマルチステップ多段階拡散機能(MTMSD)を初めて検討する,拡散に基づく新しい特徴学習フレームワークを提案する。
具体的には、拡散モデルをまずラベルなしHSIパッチで事前訓練し、ラベルなしデータの意味をマイニングし、マルチステップ多段拡散特徴を抽出する。
マルチステップのマルチステージ特徴を効果的かつ効率的に活用するため、さらに2つの戦略が開発されている。
1つの戦略は、クラスとタイムステップ指向のマルチステージ機能浄化モジュールで、クラス間とタイムステップ間は、マルチステージ機能の冗長性を低減し、メモリ制約を軽減する。
もうひとつは、グローバル機能のガイダンスを備えた選択タイムステップ機能融合モジュールで、テクスチャとセマンティクスを統合するために、異なるタイムステップ機能を適応的に選択する。
どちらの戦略も、様々なHSIデータのパターンに対するMTMSDフレームワークの汎用性と適応性を促進する。
大規模な実験は4つの公開HSIデータセットで行われ、その結果、HSI分類のための最先端の手法、特にHouston 2018データセットよりも優れた結果が得られた。
関連論文リスト
- General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data [61.163542597764796]
周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。
時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。
自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
論文 参考訳（メタデータ） (2025-02-05T15:20:04Z) - Optimizing Speech Multi-View Feature Fusion through Conditional Computation [51.23624575321469]
自己教師付き学習(SSL)機能は、軽量で多目的な多視点音声表現を提供する。
SSLは、FBanksのような従来のスペクトル機能とアップデートの方向で競合する。
本稿では,条件計算に基づく新しい一般化された特徴融合フレームワークを提案する。
論文 参考訳（メタデータ） (2025-01-14T12:12:06Z) - Spectral-Spatial Transformer with Active Transfer Learning for Hyperspectral Image Classification [3.446873355279676]
ハイパースペクトル画像(HSI)の分類は、高スペクトル次元と限られたラベル付きデータのために難しい課題である。
本研究では,空間スペクトル変換器(SST)と能動学習プロセスを統合し,効率的なHSI分類を実現するための多段階能動移動学習(ATL)フレームワークを提案する。
HSIデータセットのベンチマーク実験では、SST-ATLフレームワークが既存のCNNやSSTベースの手法よりも大幅に優れていることが示されている。
論文 参考訳（メタデータ） (2024-11-27T07:53:39Z) - PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。
我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。
CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
論文 参考訳（メタデータ） (2024-09-08T15:02:25Z) - Semantic-Guided Multimodal Sentiment Decoding with Adversarial Temporal-Invariant Learning [22.54577327204281]
マルチモーダル感情分析は、異なるモダリティから表現を学習し、人間の感情を識別することを目的としている。
既存の作品は、連続した時系列に固有のフレームレベルの冗長性を無視することが多く、ノイズを伴う不完全なモジュラリティ表現をもたらす。
本研究では,時間段階の分布変動を制約し,時間的時間的変動を効果的に捉えた時間的不変学習を提案する。
論文 参考訳（メタデータ） (2024-08-30T03:28:40Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - Embedded feature selection in LSTM networks with multi-objective
evolutionary ensemble learning for time series forecasting [49.1574468325115]
本稿では,Long Short-Term Memory Networkに埋め込まれた特徴選択手法を提案する。
本手法はLSTMの重みと偏りを分割的に最適化する。
イタリアとスペイン南東部の大気質時系列データの実験的評価により,従来のLSTMの能力一般化が著しく向上することが確認された。
論文 参考訳（メタデータ） (2023-12-29T08:42:10Z) - A Multi-Stage Adaptive Feature Fusion Neural Network for Multimodal Gait
Recognition [15.080096318551346]
多くの既存の歩行認識アルゴリズムは単調であり、少数のマルチモーダル歩行認識アルゴリズムは一度だけマルチモーダル融合を行う。
特徴抽出プロセスの異なる段階において多段階の融合を行う多段階特徴融合戦略(MSFFS)を提案する。
また,シルエットと骨格のセマンティックな関連性を考慮したAFFM(Adaptive Feature fusion Module)を提案する。
論文 参考訳（メタデータ） (2023-12-22T03:25:15Z) - Unsupervised Multi-modal Feature Alignment for Time Series
Representation Learning [20.655943795843037]
異なるモダリティから符号化された時系列表現の整合と結合に焦点を当てた革新的なアプローチを導入する。
複数のモーダルから特徴を融合させる従来の手法とは対照的に,提案手法は単一時系列エンコーダを保持することにより,ニューラルアーキテクチャを単純化する。
我々のアプローチは、様々な下流タスクにまたがる既存の最先端のURLメソッドよりも優れています。
論文 参考訳（メタデータ） (2023-12-09T22:31:20Z) - DiffSpectralNet : Unveiling the Potential of Diffusion Models for
Hyperspectral Image Classification [6.521187080027966]
我々は拡散と変圧器技術を組み合わせたDiffSpectralNetと呼ばれる新しいネットワークを提案する。
まず,拡散モデルに基づく教師なし学習フレームワークを用いて,高レベル・低レベルのスペクトル空間的特徴を抽出する。
この拡散法はスペクトル空間の特徴を多様かつ有意義に抽出し,HSI分類の改善につながる。
論文 参考訳（メタデータ） (2023-10-29T15:26:37Z) - Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。
我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。
ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
論文 参考訳（メタデータ） (2022-02-10T06:23:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。