論文の概要: Bridging Sensor Gaps via Attention Gated Tuning for Hyperspectral Image Classification

• arxiv url: http://arxiv.org/abs/2309.12865v2
• Date: Thu, 18 Jul 2024 08:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-20 00:02:04.591181
• Title: Bridging Sensor Gaps via Attention Gated Tuning for Hyperspectral Image Classification
• Title（参考訳）: ハイパースペクトル画像分類のためのアテンションゲート調整によるブリジングセンサギャップ
• Authors: Xizhe Xue, Haokui Zhang, Rong Xiao, Ying Li, Zongwen Bai, Mike Zheng Shou,
• Abstract要約: HSI分類法は高品質なラベル付きHSIを必要とするが、しばしば入手するのにコストがかかる。 本稿では,3重構造トランスモデルであるTri-Formerを提案する。
• 参考スコア（独自算出の注目度）: 21.510487420411366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-hungry HSI classification methods require high-quality labeled HSIs, which are often costly to obtain. This characteristic limits the performance potential of data-driven methods when dealing with limited annotated samples. Bridging the domain gap between data acquired from different sensors allows us to utilize abundant labeled data across sensors to break this bottleneck. In this paper, we propose a novel Attention-Gated Tuning (AGT) strategy and a triplet-structured transformer model, Tri-Former, to address this issue. The AGT strategy serves as a bridge, allowing us to leverage existing labeled HSI datasets, even RGB datasets to enhance the performance on new HSI datasets with limited samples. Instead of inserting additional parameters inside the basic model, we train a lightweight auxiliary branch that takes intermediate features as input from the basic model and makes predictions. The proposed AGT resolves conflicts between heterogeneous and even cross-modal data by suppressing the disturbing information and enhances the useful information through a soft gate. Additionally, we introduce Tri-Former, a triplet-structured transformer with a spectral-spatial separation design that enhances parameter utilization and computational efficiency, enabling easier and flexible fine-tuning. Comparison experiments conducted on three representative HSI datasets captured by different sensors demonstrate the proposed Tri-Former achieves better performance compared to several state-of-the-art methods. Homologous, heterologous and cross-modal tuning experiments verified the effectiveness of the proposed AGT. Code has been released at: \href{https://github.com/Cecilia-xue/AGT}{https://github.com/Cecilia-xue/AGT}.
• Abstract（参考訳）: データハングリーなHSI分類法は高品質なラベル付きHSIを必要とするが、しばしば入手するのにコストがかかる。 この特徴は、限られたアノテーション付きサンプルを扱う際に、データ駆動メソッドのパフォーマンス可能性を制限する。 異なるセンサーから取得したデータ間の領域ギャップを埋めることで、センサー間でのラベル付きデータの豊富な利用によって、このボトルネックを突破することができる。 本稿では,この問題を解決するために,新しいAttention-Gated Tuning(AGT)戦略と三重構造トランスモデルTri-Formerを提案する。 AGT戦略はブリッジとして機能し、既存のラベル付きHSIデータセット、さらにはRGBデータセットを利用して、限られたサンプルを持つ新しいHSIデータセットのパフォーマンスを向上させることができます。 基本モデルに追加パラメータを追加する代わりに、中間機能を基本モデルからの入力として取り出し、予測を行う軽量補助ブランチを訓練する。 提案したAGTは、乱れ情報を抑制し、ソフトゲートを介して有用な情報を強化することにより、異種データとクロスモーダルデータの衝突を解消する。 さらに、パラメータ利用率と計算効率を向上させるスペクトル空間分離設計のトリプルト構造変換器であるTri-Formerを導入し、より簡単かつ柔軟な微調整を可能にした。 異なるセンサによってキャプチャされた3つの代表的HSIデータセットの比較実験により、提案したTri-Formerは、いくつかの最先端手法よりも優れた性能を示す。 ホモロジー,異種およびクロスモーダルなチューニング実験により提案したAGTの有効性が検証された。 コードは以下の通りである。 \href{https://github.com/Cecilia-xue/AGT}{https://github.com/Cecilia-xue/AGT}。

関連論文リスト

• Data Augmentation for Traffic Classification [54.92823760790628]
  Data Augmentation (DA) はコンピュータビジョン(CV)と自然言語処理(NLP)に広く採用されている技術である。 DAはネットワークのコンテキスト、特にトラフィック分類(TC)タスクにおいて、牽引力を得るのに苦労しています。
  論文  参考訳（メタデータ） (2024-01-19T15:25:09Z)
• Hint-Aug: Drawing Hints from Foundation Vision Transformers Towards Boosted Few-Shot Parameter-Efficient Tuning [22.0296008705388]
  我々はHint-based Data Augmentation(Hint-Aug)というフレームワークを提案する。 事前訓練されたFViTの学習機能により、チューニングサンプルの過度に適合した部分を増強することにより、ファウンデーション・ビジョン・トランスフォーマー(FViT)を数ショットチューニングで強化することを目的としている。 5つのデータセットと3つのパラメータ効率のチューニング技術に関する大規模な実験とアブレーション研究は、ヒント・オーグの有効性を一貫して検証している。
  論文  参考訳（メタデータ） (2023-04-25T02:22:01Z)
• ADS_UNet: A Nested UNet for Histopathology Image Segmentation [1.213915839836187]
  我々は,浅層層に資源効率の高い深層監視を組み込んだ段階的付加的学習アルゴリズムであるADS UNetを提案する。 ADS_UNetは、CRAGおよびBCSSデータセット上で、最先端のTransformerベースのモデルを1.08および0.6ポイント上回る性能を示す。
  論文  参考訳（メタデータ） (2023-04-10T13:08:48Z)
• Hybrid Spectral Denoising Transformer with Guided Attention [34.34075175179669]
  ハイブリットスペクトルデノナイジング用ハイブリットスペクトルデノナイジングトランス(HSDT)を提案する。 我々のHSDTは、計算オーバーヘッドを低く保ちながら、既存の最先端手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-03-16T02:24:31Z)
• Towards Data-Efficient Detection Transformers [77.43470797296906]
  我々は、ほとんどの検出トランスフォーマーが、小さなデータセットで大きなパフォーマンス低下に悩まされていることを示す。 我々はデータ効率に影響を与える要因を、データ効率のRCNNから代表DETRへのステップバイステップ遷移によって実証的に分析する。 本稿では,よりリッチな監視とデータ効率向上を目的とした,シンプルながら効果的なラベル拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-03-17T17:56:34Z)
• Change Detection from Synthetic Aperture Radar Images via Graph-Based Knowledge Supplement Network [36.41983596642354]
  画像変化検出のためのグラフベースの知識補足ネットワーク(GKSNet)を提案する。 より具体的には、既存のラベル付きデータセットから識別情報を付加的な知識として抽出する。 提案手法を検証するために,4つのSARデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-01-22T02:50:50Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Hyperspectral Classification Based on Lightweight 3-D-CNN With Transfer Learning [67.40866334083941]
  限定サンプルに基づくHSI分類のためのエンドツーエンドの3次元軽量畳み込みニューラルネットワーク(CNN)を提案する。 従来の3D-CNNモデルと比較して,提案した3D-LWNetはネットワーク構造が深く,パラメータが小さく,計算コストも低い。 本モデルでは,HSI分類の競合性能を,いくつかの最先端手法と比較した。
  論文  参考訳（メタデータ） (2020-12-07T03:44:35Z)
• SADet: Learning An Efficient and Accurate Pedestrian Detector [68.66857832440897]
  本稿では,一段検出器の検出パイプラインに対する一連の最適化手法を提案する。 効率的な歩行者検出のための単発アンカーベース検出器(SADet)を形成する。 構造的には単純だが、VGA解像度の画像に対して最先端の結果と20ドルFPSのリアルタイム速度を示す。
  論文  参考訳（メタデータ） (2020-07-26T12:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。