論文の概要: When Hyperspectral Image Classification Meets Diffusion Models: An
Unsupervised Feature Learning Framework
- arxiv url: http://arxiv.org/abs/2306.08964v1
- Date: Thu, 15 Jun 2023 08:56:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 15:33:52.469170
- Title: When Hyperspectral Image Classification Meets Diffusion Models: An
Unsupervised Feature Learning Framework
- Title（参考訳）: 超スペクトル画像分類が拡散モデルを満たす場合:教師なし特徴学習フレームワーク
- Authors: Jingyi Zhou, Jiamu Sheng, Jiayuan Fan, Peng Ye, Tong He, Bin Wang, and
Tao Chen
- Abstract要約: 本稿では,HSI分類のための拡散モデルに基づくスペクトル空間特徴学習フレームワークDiff-HSIを提案する。
豊富な時間ステップの機能をうまく利用するために、時間ステップのフィーチャバンクと動的な機能融合モジュールを設計する。
以上の結果から,Diff-HSIはHSI分類における最先端の教師あり手法および教師なし手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 21.625816852918824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning effective spectral-spatial features is important for the
hyperspectral image (HSI) classification task, but the majority of existing HSI
classification methods still suffer from modeling complex spectral-spatial
relations and characterizing low-level details and high-level semantics
comprehensively. As a new class of record-breaking generative models, diffusion
models are capable of modeling complex relations for understanding inputs well
as learning both high-level and low-level visual features. Meanwhile, diffusion
models can capture more abundant features by taking advantage of the extra and
unique dimension of timestep t. In view of these, we propose an unsupervised
spectral-spatial feature learning framework based on the diffusion model for
HSI classification for the first time, named Diff-HSI. Specifically, we first
pretrain the diffusion model with unlabeled HSI patches for unsupervised
feature learning, and then exploit intermediate hierarchical features from
different timesteps for classification. For better using the abundant
timestep-wise features, we design a timestep-wise feature bank and a dynamic
feature fusion module to construct timestep-wise features, adaptively learning
informative multi-timestep representations. Finally, an ensemble of linear
classifiers is applied to perform HSI classification. Extensive experiments are
conducted on three public HSI datasets, and our results demonstrate that
Diff-HSI outperforms state-of-the-art supervised and unsupervised methods for
HSI classification.
- Abstract（参考訳）: 有効なスペクトル空間特徴の学習はハイパースペクトル画像(hsi)分類タスクにおいて重要であるが、既存のhsi分類手法の大部分は依然として複雑なスペクトル空間関係をモデル化し、低レベル詳細と高レベル意味論を包括的に特徴付けるのに苦しむ。
新しい記録破り生成モデルのクラスとして、拡散モデルは、入力を理解するための複雑な関係をモデル化し、高レベルと低レベルの両方の視覚的特徴を学習することができる。
一方、拡散モデルは時間ステップ t の余剰次元と一意次元を生かしてより豊富な特徴を捉えることができる。
そこで本研究では,HSI分類のための拡散モデルに基づくスペクトル空間特徴学習フレームワークDiff-HSIを提案する。
具体的には,教師なし特徴学習のためにラベルなしhsiパッチを用いて拡散モデルを事前学習し,分類のために異なる時間ステップの中間階層特徴を活用した。
時間段階的特徴バンクと動的特徴融合モジュールを設計し、時間段階的特徴を設計し、情報的多段階表現を適応的に学習する。
最後に線形分類器のアンサンブルを適用してHSI分類を行う。
Diff-HSIは3つの公開HSIデータセットに対して大規模な実験を行い,その実験結果から,HSI分類における最先端の教師付きおよび教師なしの手法よりも優れた性能を示した。
関連論文リスト
- PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。
我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。
CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
論文 参考訳（メタデータ） (2024-09-08T15:02:25Z) - Semantic-Guided Multimodal Sentiment Decoding with Adversarial Temporal-Invariant Learning [22.54577327204281]
マルチモーダル感情分析は、異なるモダリティから表現を学習し、人間の感情を識別することを目的としている。
既存の作品は、連続した時系列に固有のフレームレベルの冗長性を無視することが多く、ノイズを伴う不完全なモジュラリティ表現をもたらす。
本研究では,時間段階の分布変動を制約し,時間的時間的変動を効果的に捉えた時間的不変学習を提案する。
論文 参考訳（メタデータ） (2024-08-30T03:28:40Z) - Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。
3つの戦略を含む新しい量子化フレームワークを導入する。
このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
論文 参考訳（メタデータ） (2024-07-28T17:46:15Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - Embedded feature selection in LSTM networks with multi-objective
evolutionary ensemble learning for time series forecasting [49.1574468325115]
本稿では,Long Short-Term Memory Networkに埋め込まれた特徴選択手法を提案する。
本手法はLSTMの重みと偏りを分割的に最適化する。
イタリアとスペイン南東部の大気質時系列データの実験的評価により,従来のLSTMの能力一般化が著しく向上することが確認された。
論文 参考訳（メタデータ） (2023-12-29T08:42:10Z) - A Multi-Stage Adaptive Feature Fusion Neural Network for Multimodal Gait
Recognition [15.080096318551346]
多くの既存の歩行認識アルゴリズムは単調であり、少数のマルチモーダル歩行認識アルゴリズムは一度だけマルチモーダル融合を行う。
特徴抽出プロセスの異なる段階において多段階の融合を行う多段階特徴融合戦略(MSFFS)を提案する。
また,シルエットと骨格のセマンティックな関連性を考慮したAFFM(Adaptive Feature fusion Module)を提案する。
論文 参考訳（メタデータ） (2023-12-22T03:25:15Z) - Unsupervised Multi-modal Feature Alignment for Time Series
Representation Learning [20.655943795843037]
異なるモダリティから符号化された時系列表現の整合と結合に焦点を当てた革新的なアプローチを導入する。
複数のモーダルから特徴を融合させる従来の手法とは対照的に,提案手法は単一時系列エンコーダを保持することにより,ニューラルアーキテクチャを単純化する。
我々のアプローチは、様々な下流タスクにまたがる既存の最先端のURLメソッドよりも優れています。
論文 参考訳（メタデータ） (2023-12-09T22:31:20Z) - DiffSpectralNet : Unveiling the Potential of Diffusion Models for
Hyperspectral Image Classification [6.521187080027966]
我々は拡散と変圧器技術を組み合わせたDiffSpectralNetと呼ばれる新しいネットワークを提案する。
まず,拡散モデルに基づく教師なし学習フレームワークを用いて,高レベル・低レベルのスペクトル空間的特徴を抽出する。
この拡散法はスペクトル空間の特徴を多様かつ有意義に抽出し,HSI分類の改善につながる。
論文 参考訳（メタデータ） (2023-10-29T15:26:37Z) - Video Semantic Segmentation with Inter-Frame Feature Fusion and
Inner-Frame Feature Refinement [39.06589186472675]
マルチフレーム特徴量間の密接なペア関係をモデル化するための時空間融合(STF)モジュールを提案する。
さらに,セマンティックバウンダリ間の困難な予測に対処するために,メモリ拡張改良(MAR)モジュールを提案する。
論文 参考訳（メタデータ） (2023-01-10T07:57:05Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-05T04:04:37Z) - Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。
我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。
ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
論文 参考訳（メタデータ） (2022-02-10T06:23:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。