論文の概要: SpectralGPT: Spectral Foundation Model

• arxiv url: http://arxiv.org/abs/2311.07113v2
• Date: Sat, 25 Nov 2023 09:11:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 12:51:54.033383
• Title: SpectralGPT: Spectral Foundation Model
• Title（参考訳）: スペクトルGPT:スペクトル基礎モデル
• Authors: Danfeng Hong, Bing Zhang, Xuyang Li, Yuxuan Li, Chenyu Li, Jing Yao, Naoto Yokoya, Hao Li, Pedram Ghamisi, Xiuping Jia, Antonio Plaza, Gamba Paolo, Jon Atli Benediktsson, Jocelyn Chanussot
• Abstract要約: SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
• 参考スコア（独自算出の注目度）: 59.06089697005604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The foundation model has recently garnered significant attention due to its potential to revolutionize the field of visual representation learning in a self-supervised manner. While most foundation models are tailored to effectively process RGB images for various visual tasks, there is a noticeable gap in research focused on spectral data, which offers valuable information for scene understanding, especially in remote sensing (RS) applications. To fill this gap, we created for the first time a universal RS foundation model, named SpectralGPT, which is purpose-built to handle spectral RS images using a novel 3D generative pretrained transformer (GPT). Compared to existing foundation models, SpectralGPT 1) accommodates input images with varying sizes, resolutions, time series, and regions in a progressive training fashion, enabling full utilization of extensive RS big data; 2) leverages 3D token generation for spatial-spectral coupling; 3) captures spectrally sequential patterns via multi-target reconstruction; 4) trains on one million spectral RS images, yielding models with over 600 million parameters. Our evaluation highlights significant performance improvements with pretrained SpectralGPT models, signifying substantial potential in advancing spectral RS big data applications within the field of geoscience across four downstream tasks: single/multi-label scene classification, semantic segmentation, and change detection.
• Abstract（参考訳）: ファウンデーションモデルは、視覚表現学習の分野を自己指導的に革新する可能性から、近年大きな注目を集めている。 ほとんどの基礎モデルは、様々な視覚的タスクのためにRGB画像を効果的に処理するように調整されているが、特にリモートセンシング(RS)アプリケーションにおいて、シーン理解に有用な情報を提供するスペクトルデータに焦点を当てた研究には、顕著なギャップがある。 このギャップを埋めるために,新しい3次元生成プリトレーニングトランス(gpt)を用いて,スペクトルrs画像を処理する目的で開発されたspectrumgptというユニバーサルrs基盤モデルが初めて作成した。 既存の基礎モデルとの比較,SpectralGPT 1) さまざまなサイズ,解像度,時系列,領域の入力画像をプログレッシブなトレーニング方法で収容し,広範なrsビッグデータのフル活用を可能にする。 2)空間-スペクトル結合のための3次元トークン生成を利用する。 3)多目的再構成によるスペクトル逐次パターンのキャプチャ 4) スペクトルRS画像100万枚をトレーニングし、6億以上のパラメータを持つモデルを生成する。 我々の評価は、事前訓練されたスペクトルGPTモデルによる顕著な性能向上を強調し、単一/複数ラベルシーン分類、セマンティックセグメンテーション、変化検出の4つの下流タスクにまたがる地球科学分野におけるスペクトルRSビッグデータ応用の進歩の可能性を示している。

関連論文リスト

• SpectralEarth: Training Hyperspectral Foundation Models at Scale [47.93167977587301]
  ハイパースペクトル基礎モデルの事前学習を目的とした大規模マルチ時間データセットであるSpectralEarthを紹介する。 我々は、最先端の自己教師付き学習(SSL)アルゴリズムを用いて、SpectralEarthの一連の基礎モデルを事前訓練する。 我々は、土地被覆と収穫型マッピングのための4つの下流データセットを構築し、モデル評価のためのベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-08-15T22:55:59Z)
• SpectralGaussians: Semantic, spectral 3D Gaussian splatting for multi-spectral scene representation, visualization and analysis [3.8834382997684087]
  3次元ガウススプラッティングに基づく新しいクロススペクトルレンダリングフレームワーク(3DGS)を提案する。 このフレームワークは、登録されたマルチビュースペクトルとセグメンテーションマップから、現実的で意味のあるスプラットを生成する。 コントリビューションはマルチスペクトルシーン表現、レンダリング、編集における課題に対処し、多様なアプリケーションに新たな可能性を提供します。
  論文  参考訳（メタデータ） (2024-08-13T15:32:54Z)
• Hyperspectral Dataset and Deep Learning methods for Waste from Electric and Electronic Equipment Identification (WEEE) [0.0]
  ハイパースペクトル画像分割のための多種多様なディープラーニングアーキテクチャの性能を評価する。 その結果,空間情報をスペクトルデータと組み合わせることで,セグメンテーション結果が改善された。 我々は、Tecnalia WEEE Hyperspectralデータセットのクリーニングと公開によって、この分野に貢献する。
  論文  参考訳（メタデータ） (2024-07-05T13:45:11Z)
• TOP-ReID: Multi-spectral Object Re-Identification with Token Permutation [64.65950381870742]
  マルチスペクトルオブジェクトReID, Dubbled TOP-ReIDのための循環トークン置換フレームワークを提案する。 また,巡回多スペクトル特徴アグリゲーションのためのToken Permutation Module (TPM)を提案する。 提案するフレームワークは,ロバストなオブジェクトReIDに対して,より識別性の高いマルチスペクトル特徴を生成できる。
  論文  参考訳（メタデータ） (2023-12-15T08:54:15Z)
• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction [148.26195175240923]
  効率的なスペクトル再構成のためのマルチステージスペクトル変換器(MST++)を提案する。 NTIRE 2022 Spectral Reconstruction Challengeでは、私たちのアプローチが優勝しました。
  論文  参考訳（メタデータ） (2022-04-17T02:39:32Z)
• spectrai: A deep learning framework for spectral data [0.0]
  本稿では、スペクトルデータに基づくニューラルネットワークのトレーニングを容易にするために設計されたオープンソースのフレームワークであるspectraiを紹介する。 Spectiは、多数のスペクトルデータ前処理と拡張方法、スペクトル(画像)のデノイズ化、スペクトル(画像)分類、スペクトル画像セグメンテーション、スペクトル画像超解像を含むスペクトルデータのためのニューラルネットワークを提供する。
  論文  参考訳（メタデータ） (2021-08-17T12:54:34Z)
• There and Back Again: Self-supervised Multispectral Correspondence Estimation [13.56924750612194]
  自己監督が可能な新しいサイクル一貫性指標を紹介します。 これにより、スペクトルに依存しない損失関数と組み合わせることで、同じネットワークを複数のスペクトルにわたってトレーニングできます。 本研究では,高密度RGB-FIR対応推定の課題に対するアプローチを示す。
  論文  参考訳（メタデータ） (2021-03-19T12:33:56Z)
• Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution [82.1739023587565]
  ハイパースペクトル画像超解像のための新しいスペクトル空間残差ネットワーク(SSRNet)を提案する。 提案手法は,2次元畳み込みではなく3次元畳み込みを用いて空間スペクトル情報の探索を効果的に行うことができる。 各ユニットでは空間的・時間的分離可能な3次元畳み込みを用いて空間的・スペクトル的な情報を抽出する。
  論文  参考訳（メタデータ） (2020-01-14T03:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。