論文の概要: SpecTr: Spectral Transformer for Hyperspectral Pathology Image
Segmentation
- arxiv url: http://arxiv.org/abs/2103.03604v1
- Date: Fri, 5 Mar 2021 11:12:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-08 14:43:26.292920
- Title: SpecTr: Spectral Transformer for Hyperspectral Pathology Image
Segmentation
- Title(参考訳): SpecTr:Hyperspectral Pathology Image Segmentationのためのスペクトル変換器
- Authors: Boxiang Yun, Yan Wang, Jieneng Chen, Huiyu Wang, Wei Shen, Qingli Li
- Abstract要約: 我々はスペクトル帯域間の長距離依存性をモデル化できるSpectral Transformer (SpecTr) と命名した。
spectrは、事前トレーニングを必要とせず、ハイパースペクトル病理画像セグメンテーションベンチマークで他の競合する手法よりも優れている。
- 参考スコア(独自算出の注目度): 14.34998033157658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperspectral imaging (HSI) unlocks the huge potential to a wide variety of
applications relied on high-precision pathology image segmentation, such as
computational pathology and precision medicine. Since hyperspectral pathology
images benefit from the rich and detailed spectral information even beyond the
visible spectrum, the key to achieve high-precision hyperspectral pathology
image segmentation is to felicitously model the context along high-dimensional
spectral bands. Inspired by the strong context modeling ability of
transformers, we hereby, for the first time, formulate the contextual feature
learning across spectral bands for hyperspectral pathology image segmentation
as a sequence-to-sequence prediction procedure by transformers. To assist
spectral context learning procedure, we introduce two important strategies: (1)
a sparsity scheme enforces the learned contextual relationship to be sparse, so
as to eliminates the distraction from the redundant bands; (2) a spectral
normalization, a separate group normalization for each spectral band, mitigates
the nuisance caused by heterogeneous underlying distributions of bands. We name
our method Spectral Transformer (SpecTr), which enjoys two benefits: (1) it has
a strong ability to model long-range dependency among spectral bands, and (2)
it jointly explores the spatial-spectral features of HSI. Experiments show that
SpecTr outperforms other competing methods in a hyperspectral pathology image
segmentation benchmark without the need of pre-training. Code is available at
https://github.com/hfut-xc-yun/SpecTr.
- Abstract(参考訳): ハイパースペクトルイメージング(HSI)は、計算病理学や精密医学などの高精度病理画像分割に依存する幅広いアプリケーションに巨大な可能性を解き放ちます。
ハイパースペクトル病理画像は、可視スペクトルを超えても豊富で詳細なスペクトル情報から恩恵を受けるため、高精度なハイパースペクトル病理画像分割を実現する鍵は、高次元スペクトルバンドに沿ってコンテキストを暗黙的にモデル化することです。
トランスの強力なコンテキストモデリング能力に触発され、トランスのシーケンスからシーケンスへの予測手順として、ハイパースペクトル病理画像分割のためのスペクトル帯域をまたいだコンテキスト機能学習を初めて定式化しました。
スペクトルの文脈学習を支援するために,(1)余剰帯域からの乱れを解消するために,疎結合方式が学習コンテキスト関係を疎結合にすること,(2)スペクトル正規化,(2)スペクトル帯域毎の集団正規化,そして、帯域の不均一な基底分布によるニュアンスを軽減すること,の2つの重要な戦略を導入する。
我々は,(1)スペクトル帯域間の長距離依存性をモデル化する能力を持ち,(2)hsiの空間スペクトル特性を共同研究する,という2つの利点を享受するspectrum transformer (spectr) と呼ぶ。
実験により、spectrは事前トレーニングを必要とせず、ハイパースペクトル病理画像分割ベンチマークで他の競合する手法よりも優れていることが示されている。
コードはhttps://github.com/hfut-xc-yun/SpecTrで入手できる。
関連論文リスト
- Spectral-wise Implicit Neural Representation for Hyperspectral Image
Reconstruction [14.621504062838731]
Coded Aperture Snapshot Spectral Imaging (CASSI) は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。
HSIを再構成する既存の方法は、通常、2次元圧縮画像から所定の離散スペクトル帯域のセットへの学習マッピングを含む。
本稿では、この制限に対処するための先駆的なステップとして、スペクトルワイドインシシットニューラル表現(SINR)と呼ばれる革新的な手法を提案する。
論文 参考訳(メタデータ) (2023-12-02T08:06:07Z) - SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。
既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。
我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
論文 参考訳(メタデータ) (2023-11-13T07:09:30Z) - DiffSpectralNet : Unveiling the Potential of Diffusion Models for
Hyperspectral Image Classification [6.521187080027966]
我々は拡散と変圧器技術を組み合わせたDiffSpectralNetと呼ばれる新しいネットワークを提案する。
まず,拡散モデルに基づく教師なし学習フレームワークを用いて,高レベル・低レベルのスペクトル空間的特徴を抽出する。
この拡散法はスペクトル空間の特徴を多様かつ有意義に抽出し,HSI分類の改善につながる。
論文 参考訳(メタデータ) (2023-10-29T15:26:37Z) - SaaFormer: Spectral-spatial Axial Aggregation Transformer for
Hyperspectral Image Classification [2.4723464787484812]
地球の観測衛星や航空機から撮影したハイパースペクトル画像(HSI)は、農業、環境モニタリング、鉱業などの分野でますます重要になっている。
利用可能なハイパースペクトルデータセットが限られているため、ピクセル単位のランダムサンプリングは、最も一般的に使われているトレーニング-テストデータセット分割アプローチである。
データ漏洩の可能性を最小限に抑えるブロックワイズサンプリング法を提案する。
論文 参考訳(メタデータ) (2023-06-29T07:55:43Z) - Spectral2Spectral: Image-spectral Similarity Assisted Spectral CT Deep
Reconstruction without Reference [5.109423491004876]
本稿では、教師なしの手法とデータ事前を、Spectral2Spectralという名前の統一されたフレームワークに相乗化するための反復的深層再構築ネットワークを提案する。
我々のSpectral2Spectralは、教師なしの深層学習戦略を用いて、ノイズの多いデータからエンドツーエンドで高品質な画像を得る。
3つの大規模な前臨床データセット実験は、スペクトル2スペクトルが他の最先端の手法よりも優れた画質を再構成することを示した。
論文 参考訳(メタデータ) (2022-10-03T03:07:33Z) - Spectral Splitting and Aggregation Network for Hyperspectral Face
Super-Resolution [82.59267937569213]
高分解能(HR)ハイパースペクトル顔画像は、制御されていない条件下での顔関連コンピュータビジョンタスクにおいて重要な役割を果たす。
本稿では,ハイパースペクトル顔画像への深層学習手法の適用方法について検討する。
限られたトレーニングサンプルを用いたHFSRのためのスペクトル分割集約ネットワーク(SSANet)を提案する。
論文 参考訳(メタデータ) (2021-08-31T02:13:00Z) - SpectralFormer: Rethinking Hyperspectral Image Classification with
Transformers [91.09957836250209]
ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴づけられる。
CNNは、HS画像分類において強力な特徴抽出器であることが証明されている。
我々は、HS画像分類のためのulSpectralFormerと呼ばれる新しいバックボーンネットワークを提案する。
論文 参考訳(メタデータ) (2021-07-07T02:59:21Z) - Spectral Analysis Network for Deep Representation Learning and Image
Clustering [53.415803942270685]
本稿ではスペクトル分析に基づく教師なし深層表現学習のための新しいネットワーク構造を提案する。
パッチレベルで画像間の局所的な類似性を識別できるため、閉塞に対してより堅牢である。
クラスタリングに親しみやすい表現を学習し、データサンプル間の深い相関を明らかにすることができる。
論文 参考訳(メタデータ) (2020-09-11T05:07:15Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳(メタデータ) (2020-05-18T14:25:50Z) - Hyperspectral-Multispectral Image Fusion with Weighted LASSO [68.04032419397677]
本稿では,高スペクトル像と多スペクトル像を融合させて高画質な高スペクトル出力を実現する手法を提案する。
提案したスパース融合と再構成は,既存の公開画像の手法と比較して,定量的に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2020-03-15T23:07:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。