論文の概要: Bridging Sensor Gaps via Single-Direction Tuning for Hyperspectral Image
Classification
- arxiv url: http://arxiv.org/abs/2309.12865v1
- Date: Fri, 22 Sep 2023 13:39:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 14:32:39.461826
- Title: Bridging Sensor Gaps via Single-Direction Tuning for Hyperspectral Image
Classification
- Title（参考訳）: ハイパースペクトル画像分類のための単一方向調整によるブリジングセンサギャップ
- Authors: Xizhe Xue and Haokui Zhang and Ying Li and Liuwei Wan and Zongwen Bai
and Mike Zheng Shou
- Abstract要約: 本稿では,限られたサンプルを持つ新しいHSIデータセットの性能向上のためのブリッジとして機能する単一方向チューニング(SDT)戦略を提案する。
提案したSDTは,並列アーキテクチャ,非同期コールドホット勾配更新戦略,一方向インタラクションを利用する。
異種、あるいはクロスモーダルなデータセットのトレーニングから派生した、強力な表現学習能力をフル活用することを目的としている。
- 参考スコア（独自算出の注目度）: 21.623010413720458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, some researchers started exploring the use of ViTs in tackling HSI
classification and achieved remarkable results. However, the training of ViT
models requires a considerable number of training samples, while hyperspectral
data, due to its high annotation costs, typically has a relatively small number
of training samples. This contradiction has not been effectively addressed. In
this paper, aiming to solve this problem, we propose the single-direction
tuning (SDT) strategy, which serves as a bridge, allowing us to leverage
existing labeled HSI datasets even RGB datasets to enhance the performance on
new HSI datasets with limited samples. The proposed SDT inherits the idea of
prompt tuning, aiming to reuse pre-trained models with minimal modifications
for adaptation to new tasks. But unlike prompt tuning, SDT is custom-designed
to accommodate the characteristics of HSIs. The proposed SDT utilizes a
parallel architecture, an asynchronous cold-hot gradient update strategy, and
unidirectional interaction. It aims to fully harness the potent representation
learning capabilities derived from training on heterologous, even cross-modal
datasets. In addition, we also introduce a novel Triplet-structured transformer
(Tri-Former), where spectral attention and spatial attention modules are merged
in parallel to construct the token mixing component for reducing computation
cost and a 3D convolution-based channel mixer module is integrated to enhance
stability and keep structure information. Comparison experiments conducted on
three representative HSI datasets captured by different sensors demonstrate the
proposed Tri-Former achieves better performance compared to several
state-of-the-art methods. Homologous, heterologous and cross-modal tuning
experiments verified the effectiveness of the proposed SDT.
- Abstract（参考訳）: 近年,一部の研究者がhsi分類におけるvitsの利用を探求し,顕著な結果を得た。
しかし、ViTモデルのトレーニングにはかなりの数のトレーニングサンプルが必要であるが、ハイパースペクトルデータは高いアノテーションコストのため、通常は比較的少数のトレーニングサンプルを持っている。
この矛盾は事実上解決されていない。
本稿では,橋梁として機能する単一方向チューニング(SDT)戦略を提案し,既存のラベル付きHSIデータセットをRGBデータセットでも活用し,限られたサンプルを持つ新しいHSIデータセットの性能を向上させる。
提案するsdtはプロンプトチューニングの考え方を継承しており、新しいタスクに適応するために最小限の変更で事前学習されたモデルを再利用することを目的としている。
しかし、即時チューニングとは異なり、SDTはHSIの特性に対応するためにカスタム設計されている。
提案したSDTは,並列アーキテクチャ,非同期コールドホット勾配更新戦略,一方向インタラクションを利用する。
異種、あるいはクロスモーダルなデータセットのトレーニングに由来する強力な表現学習能力をフル活用することを目的としている。
また,新しいトリプレット構造トランス(tri-former)を導入し,スペクトル注意と空間注意モジュールを並列に結合してトークン混合成分を構築し,計算コストを低減し,3次元畳み込み型チャネルミキサモジュールを統合して安定性を高め,構造情報を保持する。
異なるセンサによってキャプチャされた3つの代表的HSIデータセットの比較実験により、提案したTri-Formerは、いくつかの最先端手法と比較して、より良い性能を発揮することが示された。
ホモロジカル,ヘテロジロジカル,クロスモーダルチューニング実験により,提案するsdtの有効性が検証された。
関連論文リスト
- Data Augmentation for Traffic Classification [54.92823760790628]
Data Augmentation (DA) はコンピュータビジョン(CV)と自然言語処理(NLP)に広く採用されている技術である。
DAはネットワークのコンテキスト、特にトラフィック分類(TC)タスクにおいて、牽引力を得るのに苦労しています。
論文 参考訳（メタデータ） (2024-01-19T15:25:09Z) - Hint-Aug: Drawing Hints from Foundation Vision Transformers Towards
Boosted Few-Shot Parameter-Efficient Tuning [22.0296008705388]
我々はHint-based Data Augmentation(Hint-Aug)というフレームワークを提案する。
事前訓練されたFViTの学習機能により、チューニングサンプルの過度に適合した部分を増強することにより、ファウンデーション・ビジョン・トランスフォーマー(FViT)を数ショットチューニングで強化することを目的としている。
5つのデータセットと3つのパラメータ効率のチューニング技術に関する大規模な実験とアブレーション研究は、ヒント・オーグの有効性を一貫して検証している。
論文 参考訳（メタデータ） (2023-04-25T02:22:01Z) - ADS_UNet: A Nested UNet for Histopathology Image Segmentation [1.213915839836187]
我々は,浅層層に資源効率の高い深層監視を組み込んだ段階的付加的学習アルゴリズムであるADS UNetを提案する。
ADS_UNetは、CRAGおよびBCSSデータセット上で、最先端のTransformerベースのモデルを1.08および0.6ポイント上回る性能を示す。
論文 参考訳（メタデータ） (2023-04-10T13:08:48Z) - Hybrid Spectral Denoising Transformer with Guided Attention [34.34075175179669]
ハイブリットスペクトルデノナイジング用ハイブリットスペクトルデノナイジングトランス(HSDT)を提案する。
我々のHSDTは、計算オーバーヘッドを低く保ちながら、既存の最先端手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2023-03-16T02:24:31Z) - Towards Data-Efficient Detection Transformers [77.43470797296906]
我々は、ほとんどの検出トランスフォーマーが、小さなデータセットで大きなパフォーマンス低下に悩まされていることを示す。
我々はデータ効率に影響を与える要因を、データ効率のRCNNから代表DETRへのステップバイステップ遷移によって実証的に分析する。
本稿では,よりリッチな監視とデータ効率向上を目的とした,シンプルながら効果的なラベル拡張手法を提案する。
論文 参考訳（メタデータ） (2022-03-17T17:56:34Z) - Change Detection from Synthetic Aperture Radar Images via Graph-Based
Knowledge Supplement Network [36.41983596642354]
画像変化検出のためのグラフベースの知識補足ネットワーク(GKSNet)を提案する。
より具体的には、既存のラベル付きデータセットから識別情報を付加的な知識として抽出する。
提案手法を検証するために,4つのSARデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-01-22T02:50:50Z) - Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D
Object Detection [85.11649974840758]
3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。
そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
論文 参考訳（メタデータ） (2021-11-30T18:42:42Z) - Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。
ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文 参考訳（メタデータ） (2021-05-17T02:39:22Z) - Hyperspectral Classification Based on Lightweight 3-D-CNN With Transfer
Learning [67.40866334083941]
限定サンプルに基づくHSI分類のためのエンドツーエンドの3次元軽量畳み込みニューラルネットワーク(CNN)を提案する。
従来の3D-CNNモデルと比較して,提案した3D-LWNetはネットワーク構造が深く,パラメータが小さく,計算コストも低い。
本モデルでは,HSI分類の競合性能を,いくつかの最先端手法と比較した。
論文 参考訳（メタデータ） (2020-12-07T03:44:35Z) - SADet: Learning An Efficient and Accurate Pedestrian Detector [68.66857832440897]
本稿では,一段検出器の検出パイプラインに対する一連の最適化手法を提案する。
効率的な歩行者検出のための単発アンカーベース検出器(SADet)を形成する。
構造的には単純だが、VGA解像度の画像に対して最先端の結果と20ドルFPSのリアルタイム速度を示す。
論文 参考訳（メタデータ） (2020-07-26T12:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。