論文の概要: Fine-grained Hierarchical Crop Type Classification from Integrated Hyperspectral EnMAP Data and Multispectral Sentinel-2 Time Series: A Large-scale Dataset and Dual-stream Transformer Method
- arxiv url: http://arxiv.org/abs/2506.06155v2
- Date: Mon, 09 Jun 2025 14:30:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 14:13:04.174405
- Title: Fine-grained Hierarchical Crop Type Classification from Integrated Hyperspectral EnMAP Data and Multispectral Sentinel-2 Time Series: A Large-scale Dataset and Dual-stream Transformer Method
- Title(参考訳): 統合ハイパースペクトルEnMAPデータとマルチスペクトルセンチネル-2時系列の微細粒度階層型分類:大規模データセットとデュアルストリームトランス法
- Authors: Wenyuan Li, Shunlin Liang, Yuxiang Zhang, Liqin Liu, Keyan Chen, Yongzhe Chen, Han Ma, Jianglei Xu, Yichuan Ma, Shikang Guan, Zhenwei Shi,
- Abstract要約: 細粒度作物型分類は大規模作物マッピングの基礎となる。
これらの2つのモダリティを組み合わせた研究は、ハイパースペクトルデータ取得と作物型アノテーションコストの課題により、依然として少ない。
本研究では,30m分解能EnMAPハイパースペクトルデータとSentinel-2時系列を統合することで,階層型ハイパースペクトルデータ(H2Crop)を構築する。
- 参考スコア(独自算出の注目度): 12.016380319337525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-grained crop type classification serves as the fundamental basis for large-scale crop mapping and plays a vital role in ensuring food security. It requires simultaneous capture of both phenological dynamics (obtained from multi-temporal satellite data like Sentinel-2) and subtle spectral variations (demanding nanometer-scale spectral resolution from hyperspectral imagery). Research combining these two modalities remains scarce currently due to challenges in hyperspectral data acquisition and crop types annotation costs. To address these issues, we construct a hierarchical hyperspectral crop dataset (H2Crop) by integrating 30m-resolution EnMAP hyperspectral data with Sentinel-2 time series. With over one million annotated field parcels organized in a four-tier crop taxonomy, H2Crop establishes a vital benchmark for fine-grained agricultural crop classification and hyperspectral image processing. We propose a dual-stream Transformer architecture that synergistically processes these modalities. It coordinates two specialized pathways: a spectral-spatial Transformer extracts fine-grained signatures from hyperspectral EnMAP data, while a temporal Swin Transformer extracts crop growth patterns from Sentinel-2 time series. The designed hierarchical classification head with hierarchical fusion then simultaneously delivers multi-level crop type classification across all taxonomic tiers. Experiments demonstrate that adding hyperspectral EnMAP data to Sentinel-2 time series yields a 4.2% average F1-scores improvement (peaking at 6.3%). Extensive comparisons also confirm our method's higher accuracy over existing deep learning approaches for crop type classification and the consistent benefits of hyperspectral data across varying temporal windows and crop change scenarios. Codes and dataset are available at https://github.com/flyakon/H2Crop.
- Abstract(参考訳): 粒度の細かい作物の分類は、大規模な作物マッピングの基礎となり、食品の安全性を確保する上で重要な役割を担っている。
現象力学(センチネル-2のような多時間衛星データから得られる)と微妙なスペクトル変化(ハイパースペクトル画像からのナノメートルスケールのスペクトル分解能の要求)を同時に捉える必要がある。
これらの2つのモダリティを組み合わせた研究は、ハイパースペクトルデータ取得と作物型アノテーションコストの課題により、現在もなお少ない。
これらの問題に対処するために、30m分解能EnMAPハイパースペクトルデータとSentinel-2時系列を統合することで、階層型ハイパースペクトルクロプデータセット(H2Crop)を構築した。
H2Cropは4階層の作物分類で100万以上のアノテートフィールドパーセルを編成し、細粒度農作物分類とハイパースペクトル画像処理のための重要なベンチマークを確立している。
本稿では,これらのモダリティを相乗的に処理するデュアルストリームトランスフォーマーアーキテクチャを提案する。
スペクトル空間変換器は高スペクトルEnMAPデータから微細なシグネチャを抽出し、時間的スウィン変換器はセンチネル-2時系列から作物の成長パターンを抽出する。
階層的融合を伴う設計された階層的分類ヘッドは、同時にすべての分類学的階層にわたって多段階の作物分類を提供する。
実験により、センチネル-2の時系列にハイパースペクトルのEnMAPデータを追加すると、平均F1スコアの改善率が4.2%(約6.3%)になることが示された。
大規模比較では,作物型分類における既存の深層学習手法よりも精度が高く,時間的異なるウィンドウや作物変化シナリオをまたいだハイパースペクトルデータの一貫した利点も確認されている。
コードとデータセットはhttps://github.com/flyakon/H2Crop.orgで公開されている。
関連論文リスト
- AgriFM: A Multi-source Temporal Remote Sensing Foundation Model for Crop Mapping [11.187551725609099]
トランスフォーマーベースのリモートセンシング基礎モデル(RSFM)は、統一された処理能力のため、作物マッピングの可能性を秘めている。
農作物のマッピングに特化して設計された多時間リモートセンシング基盤モデルであるAgriFMを提案する。
論文 参考訳(メタデータ) (2025-05-27T15:50:14Z) - DiffFormer: a Differential Spatial-Spectral Transformer for Hyperspectral Image Classification [3.271106943956333]
超スペクトル画像分類(HSIC)は、高次元データをスペクトル情報と空間情報で分析する可能性から注目されている。
本稿では、スペクトル冗長性や空間不連続性といったHSICの固有の課題に対処するために、差分空間スペクトル変換器(DiffFormer)を提案する。
ベンチマークハイパースペクトルデータセットの実験は、分類精度、計算効率、一般化可能性の観点から、DiffFormerの優位性を示す。
論文 参考訳(メタデータ) (2024-12-23T07:21:41Z) - CMTNet: Convolutional Meets Transformer Network for Hyperspectral Images Classification [3.821081081400729]
現在の畳み込みニューラルネットワーク(CNN)は、ハイパースペクトルデータの局所的な特徴に焦点を当てている。
Transformerフレームワークは、ハイパースペクトル画像からグローバルな特徴を抽出する。
本研究は、CMTNet(Convolutional Meet Transformer Network)を紹介する。
論文 参考訳(メタデータ) (2024-06-20T07:56:51Z) - Domain Adaptive Synapse Detection with Weak Point Annotations [63.97144211520869]
弱点アノテーションを用いたドメイン適応型シナプス検出のためのフレームワークであるAdaSynを提案する。
I SBI 2023のWASPSYNチャレンジでは、我々の手法が第1位にランクインした。
論文 参考訳(メタデータ) (2023-08-31T05:05:53Z) - Generative models-based data labeling for deep networks regression:
application to seed maturity estimation from UAV multispectral images [3.6868861317674524]
種子の成熟度モニタリングは、気候変動とより制限的な慣行による農業における課題の増加である。
従来の手法は、フィールドでの限られたサンプリングと実験室での分析に基づいている。
マルチスペクトルUAV画像を用いたパセリ種子の成熟度推定手法の提案と,自動ラベリングのための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-08-09T09:06:51Z) - Joint Spatial-Temporal and Appearance Modeling with Transformer for
Multiple Object Tracking [59.79252390626194]
本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。
提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
論文 参考訳(メタデータ) (2022-05-31T01:19:18Z) - Tracking perovskite crystallization via deep learning-based feature
detection on 2D X-ray scattering data [137.47124933818066]
本稿では,より高速なR-CNN深層学習アーキテクチャに基づくX線回折画像の自動解析パイプラインを提案する。
有機-無機ペロブスカイト構造の結晶化をリアルタイムに追跡し, 2つの応用で検証した。
論文 参考訳(メタデータ) (2022-02-22T15:39:00Z) - MD-CSDNetwork: Multi-Domain Cross Stitched Network for Deepfake
Detection [80.83725644958633]
現在のディープフェイク生成法では、偽画像やビデオの周波数スペクトルに識別的アーティファクトが残されている。
MD-CSDNetwork(MD-CSDNetwork)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2021-09-15T14:11:53Z) - Multi-Stage Hybrid Federated Learning over Large-Scale D2D-Enabled Fog
Networks [61.30171206892684]
ネットワークを多層クラスタベース構造とみなす階層内モデル学習と層間モデル学習のハイブリッドを開発する。
MH-FLは、デバイス間通信(D2D)を介して形成されたローカルネットワークを含む、クラスタ内のノード間のトポロジー構造を考察している。
異なるネットワーク層におけるデバイスを協調的/協調的にオーケストレーションし、モデルパラメータの局所的なコンセンサスを形成する。
論文 参考訳(メタデータ) (2020-07-18T20:03:07Z) - EHSOD: CAM-Guided End-to-end Hybrid-Supervised Object Detection with
Cascade Refinement [53.69674636044927]
本稿では,エンド・ツー・エンドのハイブリッド型オブジェクト検出システムであるEHSODについて述べる。
完全なアノテートと弱いアノテートの両方で、ワンショットでトレーニングすることができる。
完全なアノテートされたデータの30%しか持たない複数のオブジェクト検出ベンチマークで、同等の結果が得られる。
論文 参考訳(メタデータ) (2020-02-18T08:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。