論文の概要: Transformer for Multitemporal Hyperspectral Image Unmixing
- arxiv url: http://arxiv.org/abs/2407.10427v1
- Date: Mon, 15 Jul 2024 04:02:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 16:20:45.764378
- Title: Transformer for Multitemporal Hyperspectral Image Unmixing
- Title（参考訳）: マルチテンポラルハイパースペクトル像アンミキシング用トランス
- Authors: Hang Li, Qiankun Dong, Xueshuo Xie, Xia Xu, Tao Li, Zhenwei Shi,
- Abstract要約: エンドツーエンドの教師なしディープラーニングモデルであるMultitemporal Hyperspectral Image Unmixing Transformer (MUFormer)を提案する。
我々は,グローバル・アウェアネス・モジュール(GAM)とチェンジ・エンハンスメント・モジュール(CEM)の2つの重要なモジュールを紹介する。
これらのモジュール間のシナジーにより、エンドメンバーとアブリダンスの変更に関するセマンティックな情報をキャプチャすることができる。
- 参考スコア（独自算出の注目度）: 17.365895881435563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multitemporal hyperspectral image unmixing (MTHU) holds significant importance in monitoring and analyzing the dynamic changes of surface. However, compared to single-temporal unmixing, the multitemporal approach demands comprehensive consideration of information across different phases, rendering it a greater challenge. To address this challenge, we propose the Multitemporal Hyperspectral Image Unmixing Transformer (MUFormer), an end-to-end unsupervised deep learning model. To effectively perform multitemporal hyperspectral image unmixing, we introduce two key modules: the Global Awareness Module (GAM) and the Change Enhancement Module (CEM). The Global Awareness Module computes self-attention across all phases, facilitating global weight allocation. On the other hand, the Change Enhancement Module dynamically learns local temporal changes by comparing endmember changes between adjacent phases. The synergy between these modules allows for capturing semantic information regarding endmember and abundance changes, thereby enhancing the effectiveness of multitemporal hyperspectral image unmixing. We conducted experiments on one real dataset and two synthetic datasets, demonstrating that our model significantly enhances the effect of multitemporal hyperspectral image unmixing.
- Abstract（参考訳）: MTHU(Multitemporal Hyperspectral Image Unmixing)は表面の動的変化のモニタリングと解析において重要な役割を担う。
しかし、単一時間アンミックスと比較して、マルチテンポラルアプローチは異なるフェーズにわたる情報の包括的考慮を必要とするため、大きな課題となる。
この課題に対処するために、エンドツーエンドの教師なしディープラーニングモデルであるMultitemporal Hyperspectral Image Unmixing Transformer (MUFormer)を提案する。
マルチテンポラルハイパースペクトル像のアンミックスを効果的に行うために,グローバル・アウェアネス・モジュール (GAM) とチェンジ・エンハンスメント・モジュール (CEM) の2つの重要なモジュールを紹介した。
グローバル・アウェアネス・モジュールは全フェーズにわたって自己注意を計算し、グローバル・ウェイト・アロケーションを促進する。
一方、Change Enhancement Moduleは、隣接する位相間の終端変化を比較することで、局所的な時間変化を動的に学習する。
これらのモジュール間の相乗効果により、終端および豊富な変化に関する意味情報をキャプチャし、マルチテンポラルハイパースペクトル画像アンミックスの有効性を高めることができる。
我々は,1つの実データと2つの合成データセットを用いて実験を行い,そのモデルがマルチテンポラルハイパースペクトル像のアンミックス効果を著しく向上させることを示した。
関連論文リスト
- Ada-MSHyper: Adaptive Multi-Scale Hypergraph Transformer for Time Series Forecasting [5.431115840202783]
時系列予測のための適応型マルチスケールハイパーグラフ変換器(Ada-MSHyper)を提案する。
Ada-MSHyperは最先端の性能を達成し、予測誤差を平均4.56%、10.38%、MSEの4.97%減らし、長距離、短距離、超長距離の時系列予測を行う。
論文 参考訳（メタデータ） (2024-10-31T14:51:09Z) - Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。
マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。
WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
論文 参考訳（メタデータ） (2024-10-29T07:16:31Z) - Integrated Dynamic Phenological Feature for Remote Sensing Image Land Cover Change Detection [5.109855690325439]
本稿では,表現学的特徴をリモートセンシング画像CDフレームワークに統合するInPheaモデルを提案する。
4つの制約モジュールと多段階のコントラスト学習アプローチを備えた制約器を用いて,表現学的特徴の理解を支援する。
HRSCD、SECD、PSCD-Wuhanデータセットの実験は、InPheaが他のモデルより優れていることを示している。
論文 参考訳（メタデータ） (2024-08-08T01:07:28Z) - Unifying Visual and Semantic Feature Spaces with Diffusion Models for Enhanced Cross-Modal Alignment [20.902935570581207]
本稿では,マルチモーダルアライメント・アンド・リコンストラクション・ネットワーク(MARNet)を導入し,視覚ノイズに対するモデルの耐性を高める。
MARNetは、異なるドメイン間で情報をスムーズかつ安定的にブレンドする、クロスモーダル拡散再構成モジュールを含んでいる。
2つのベンチマークデータセットであるVireo-Food172とIngredient-101で実施された実験は、MARNetがモデルによって抽出された画像情報の品質を効果的に改善することを示した。
論文 参考訳（メタデータ） (2024-07-26T16:30:18Z) - Changen2: Multi-Temporal Remote Sensing Generative Change Foundation Model [62.337749660637755]
安価で自動的な生成モデルに基づく変更データ生成器を提案する。
Changen2は、自己監督を通じて大規模にトレーニング可能な、生成的な変更基盤モデルである。
得られたモデルには、固有のゼロショット変化検出機能と優れた転送性がある。
論文 参考訳（メタデータ） (2024-06-26T01:03:39Z) - Hybrid Convolutional and Attention Network for Hyperspectral Image Denoising [54.110544509099526]
ハイパースペクトル画像(HSI)は、ハイパースペクトルデータの効果的な解析と解釈に重要である。
ハイブリット・コンボリューション・アテンション・ネットワーク(HCANet)を提案する。
主流HSIデータセットに対する実験結果は,提案したHCANetの合理性と有効性を示している。
論文 参考訳（メタデータ） (2024-03-15T07:18:43Z) - A Dual Domain Multi-exposure Image Fusion Network based on the
Spatial-Frequency Integration [57.14745782076976]
マルチ露光画像融合は、異なる露光で画像を統合することにより、単一の高ダイナミック画像を生成することを目的としている。
本稿では,MEF-SFI と呼ばれる空間周波数統合フレームワークによるマルチ露光画像融合の新たな視点を提案する。
提案手法は,最先端のマルチ露光画像融合手法に対する視覚的近似核融合結果を実現する。
論文 参考訳（メタデータ） (2023-12-17T04:45:15Z) - Scalable Multi-Temporal Remote Sensing Change Data Generation via
Simulating Stochastic Change Process [21.622442722863028]
生成モデルを用いたスケーラブルなマルチ時間リモートセンシングデータ生成手法を提案する。
私たちの一番のアイデアは、時間とともに変化するプロセスをシミュレートすることです。
これら2つの問題を解決するため、GANベースのGPCMである変更生成器(Changen)を提案し、制御可能なオブジェクト変更データ生成を可能にする。
論文 参考訳（メタデータ） (2023-09-29T07:37:26Z) - Unified Frequency-Assisted Transformer Framework for Detecting and
Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。
離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。
提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文 参考訳（メタデータ） (2023-09-18T11:06:42Z) - Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。
実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文 参考訳（メタデータ） (2023-05-19T05:50:24Z) - TSI: Temporal Saliency Integration for Video Action Recognition [32.18535820790586]
本稿では,SME(Salient Motion Excitation)モジュールとCTI(Cross-scale Temporal Integration)モジュールを主成分とするTSI(Temporal Saliency Integration)ブロックを提案する。
SMEは、局所的な動きモデリングを通して、動きに敏感な領域を強調することを目的としている。
CTIは、それぞれ別々の1D畳み込みの群を通じて、マルチスケールの時間的モデリングを実行するように設計されている。
論文 参考訳（メタデータ） (2021-06-02T11:43:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。