論文の概要: Bridging Sensor Gaps via Single-Direction Tuning for Hyperspectral Image
Classification
- arxiv url: http://arxiv.org/abs/2309.12865v1
- Date: Fri, 22 Sep 2023 13:39:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 14:32:39.461826
- Title: Bridging Sensor Gaps via Single-Direction Tuning for Hyperspectral Image
Classification
- Title(参考訳): ハイパースペクトル画像分類のための単一方向調整によるブリジングセンサギャップ
- Authors: Xizhe Xue and Haokui Zhang and Ying Li and Liuwei Wan and Zongwen Bai
and Mike Zheng Shou
- Abstract要約: 本稿では,限られたサンプルを持つ新しいHSIデータセットの性能向上のためのブリッジとして機能する単一方向チューニング(SDT)戦略を提案する。
提案したSDTは,並列アーキテクチャ,非同期コールドホット勾配更新戦略,一方向インタラクションを利用する。
異種、あるいはクロスモーダルなデータセットのトレーニングから派生した、強力な表現学習能力をフル活用することを目的としている。
- 参考スコア(独自算出の注目度): 21.623010413720458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, some researchers started exploring the use of ViTs in tackling HSI
classification and achieved remarkable results. However, the training of ViT
models requires a considerable number of training samples, while hyperspectral
data, due to its high annotation costs, typically has a relatively small number
of training samples. This contradiction has not been effectively addressed. In
this paper, aiming to solve this problem, we propose the single-direction
tuning (SDT) strategy, which serves as a bridge, allowing us to leverage
existing labeled HSI datasets even RGB datasets to enhance the performance on
new HSI datasets with limited samples. The proposed SDT inherits the idea of
prompt tuning, aiming to reuse pre-trained models with minimal modifications
for adaptation to new tasks. But unlike prompt tuning, SDT is custom-designed
to accommodate the characteristics of HSIs. The proposed SDT utilizes a
parallel architecture, an asynchronous cold-hot gradient update strategy, and
unidirectional interaction. It aims to fully harness the potent representation
learning capabilities derived from training on heterologous, even cross-modal
datasets. In addition, we also introduce a novel Triplet-structured transformer
(Tri-Former), where spectral attention and spatial attention modules are merged
in parallel to construct the token mixing component for reducing computation
cost and a 3D convolution-based channel mixer module is integrated to enhance
stability and keep structure information. Comparison experiments conducted on
three representative HSI datasets captured by different sensors demonstrate the
proposed Tri-Former achieves better performance compared to several
state-of-the-art methods. Homologous, heterologous and cross-modal tuning
experiments verified the effectiveness of the proposed SDT.
- Abstract(参考訳): 近年,一部の研究者がhsi分類におけるvitsの利用を探求し,顕著な結果を得た。
しかし、ViTモデルのトレーニングにはかなりの数のトレーニングサンプルが必要であるが、ハイパースペクトルデータは高いアノテーションコストのため、通常は比較的少数のトレーニングサンプルを持っている。
この矛盾は事実上解決されていない。
本稿では,橋梁として機能する単一方向チューニング(SDT)戦略を提案し,既存のラベル付きHSIデータセットをRGBデータセットでも活用し,限られたサンプルを持つ新しいHSIデータセットの性能を向上させる。
提案するsdtはプロンプトチューニングの考え方を継承しており、新しいタスクに適応するために最小限の変更で事前学習されたモデルを再利用することを目的としている。
しかし、即時チューニングとは異なり、SDTはHSIの特性に対応するためにカスタム設計されている。
提案したSDTは,並列アーキテクチャ,非同期コールドホット勾配更新戦略,一方向インタラクションを利用する。
異種、あるいはクロスモーダルなデータセットのトレーニングに由来する強力な表現学習能力をフル活用することを目的としている。
また,新しいトリプレット構造トランス(tri-former)を導入し,スペクトル注意と空間注意モジュールを並列に結合してトークン混合成分を構築し,計算コストを低減し,3次元畳み込み型チャネルミキサモジュールを統合して安定性を高め,構造情報を保持する。
異なるセンサによってキャプチャされた3つの代表的HSIデータセットの比較実験により、提案したTri-Formerは、いくつかの最先端手法と比較して、より良い性能を発揮することが示された。
ホモロジカル,ヘテロジロジカル,クロスモーダルチューニング実験により,提案するsdtの有効性が検証された。
関連論文リスト
- DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。
弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。
我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
論文 参考訳(メタデータ) (2024-03-14T02:11:38Z) - S^2Former-OR: Single-Stage Bimodal Transformer for Scene Graph
Generation in OR [52.964721233679406]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に、ポーズ推定とオブジェクト検出を伴う中間プロセスに依存するセマンティックシーングラフを生成する多段階学習に依存してきた。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGの単一段バイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-22T11:40:49Z) - Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo
Matching [77.133400999703]
相関に基づくステレオマッチングは優れた性能を達成した。
固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。
本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
論文 参考訳(メタデータ) (2023-07-26T09:47:37Z) - Hybrid Spectral Denoising Transformer with Guided Attention [34.34075175179669]
ハイブリットスペクトルデノナイジング用ハイブリットスペクトルデノナイジングトランス(HSDT)を提案する。
我々のHSDTは、計算オーバーヘッドを低く保ちながら、既存の最先端手法よりも大幅に優れています。
論文 参考訳(メタデータ) (2023-03-16T02:24:31Z) - Uni3D: A Unified Baseline for Multi-dataset 3D Object Detection [34.2238222373818]
現在の3Dオブジェクト検出モデルは、単一のデータセット固有のトレーニングとテストのパラダイムに従っている。
本稿では,複数のデータセットから統合された3次元検出器を訓練する作業について検討する。
単純なデータレベルの修正操作と設計された意味レベルの結合・再結合モジュールを利用するUni3Dを提案する。
論文 参考訳(メタデータ) (2023-03-13T05:54:13Z) - Adaptive Siamese Tracking with a Compact Latent Network [219.38172719948048]
追跡タスクを分類に変換することで,シームズをベースとしたトラッカーを簡易化する直感的なビューを提供する。
そこで本研究では,視覚シミュレーションと実追跡例を用いて,詳細な解析を行う。
そこで我々は,古典的なSiamRPN++,SiamFC,SiamBANの3つのトラッカーを調整した。
論文 参考訳(メタデータ) (2023-02-02T08:06:02Z) - Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised
Semantic Segmentation [46.441263436298996]
本稿では,SSSの性能向上を目的としたデータ摂動に着目した,シンプルでクリーンなアプローチを提案する。
我々は、ランダムなデータ変換数を選択する、簡易なインテンシティベースの拡張を採用する。
また,ラベル付き情報をランダムに注入して,ラベルなしサンプルを適応的に増強する。
論文 参考訳(メタデータ) (2022-12-09T16:36:52Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。
ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文 参考訳(メタデータ) (2021-05-17T02:39:22Z) - Hyperspectral Classification Based on Lightweight 3-D-CNN With Transfer
Learning [67.40866334083941]
限定サンプルに基づくHSI分類のためのエンドツーエンドの3次元軽量畳み込みニューラルネットワーク(CNN)を提案する。
従来の3D-CNNモデルと比較して,提案した3D-LWNetはネットワーク構造が深く,パラメータが小さく,計算コストも低い。
本モデルでは,HSI分類の競合性能を,いくつかの最先端手法と比較した。
論文 参考訳(メタデータ) (2020-12-07T03:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。