論文の概要: CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis
- arxiv url: http://arxiv.org/abs/2504.19223v1
- Date: Sun, 27 Apr 2025 13:06:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.187311
- Title: CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis
- Title（参考訳）: CARL:分光画像解析のためのカメラ非依存表現学習
- Authors: Alexander Baumann, Leonardo Ayala, Silvia Seidlitz, Jan Sellner, Alexander Studier-Fischer, Berkin Özdemir, Lena Maier-Hein, Slobodan Ilic,
- Abstract要約: スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。
スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。
我々は、$textbfC$amera-$textbfA$gnostic $textbfR$esupervised $textbfL$のモデルである$textbfCARL$を紹介した。
- 参考スコア（独自算出の注目度）: 75.25966323298003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spectral imaging offers promising applications across diverse domains, including medicine and urban scene understanding, and is already established as a critical modality in remote sensing. However, variability in channel dimensionality and captured wavelengths among spectral cameras impede the development of AI-driven methodologies, leading to camera-specific models with limited generalizability and inadequate cross-camera applicability. To address this bottleneck, we introduce $\textbf{CARL}$, a model for $\textbf{C}$amera-$\textbf{A}$gnostic $\textbf{R}$epresentation $\textbf{L}$earning across RGB, multispectral, and hyperspectral imaging modalities. To enable the conversion of a spectral image with any channel dimensionality to a camera-agnostic embedding, we introduce wavelength positional encoding and a self-attention-cross-attention mechanism to compress spectral information into learned query representations. Spectral-spatial pre-training is achieved with a novel spectral self-supervised JEPA-inspired strategy tailored to CARL. Large-scale experiments across the domains of medical imaging, autonomous driving, and satellite imaging demonstrate our model's unique robustness to spectral heterogeneity, outperforming on datasets with simulated and real-world cross-camera spectral variations. The scalability and versatility of the proposed approach position our model as a backbone for future spectral foundation models.
- Abstract（参考訳）: 分光画像は、医学や都市景観理解など様々な領域で有望な応用を提供しており、リモートセンシングにおける重要なモダリティとしてすでに確立されている。
しかし、スペクトルカメラ間のチャネル次元のばらつきや捕獲波長の変化は、AI駆動方式の開発を阻害し、一般化性に限界があり、クロスカメラの適用性が不十分なカメラ固有のモデルに繋がる。
このボトルネックに対処するために、$\textbf{C}$amera-$\textbf{A}$gnostic $\textbf{R}$epresentation $\textbf{L}$earning for RGB, multispectral, hyperspectral imaging modalitiesを紹介する。
スペクトル画像のチャネル次元をカメラ非依存の埋め込みに変換するために,波長位置符号化と自己アテンション・クロスアテンション機構を導入し,スペクトル情報を学習されたクエリ表現に圧縮する。
スペクトル空間事前学習は、CARLに合わせたスペクトル自己監督型JEPA誘発戦略によって達成される。
医用画像、自律運転、衛星画像の領域にわたる大規模な実験は、我々のモデルがスペクトルの不均一性に対する特異な堅牢性を示し、シミュレーションと実世界のクロスカメラのスペクトル変動を持つデータセットよりも優れていた。
提案手法のスケーラビリティと汎用性は,我々のモデルを将来のスペクトル基盤モデルのバックボーンとして位置づけている。
関連論文リスト
- Hyperspectral Vision Transformers for Greenhouse Gas Estimations from Space [6.559887989252469]
本研究では,マルチスペクトル入力から高スペクトルデータを合成するスペクトル変換器モデルを提案する。
モデルは、バンドワイドマスク付きオートエンコーダを介して事前訓練され、その後、アライメントされたマルチスペクトル-ハイパースペクトル画像対に微調整される。
得られた合成ハイパースペクトルデータは、マルチスペクトル画像の空間的および時間的利点を保持し、GHG予測精度を向上させる。
論文 参考訳（メタデータ） (2025-04-23T16:19:42Z) - SpecTf: Transformers Enable Data-Driven Imaging Spectroscopy Cloud Detection [0.7139158700911061]
SpecTfは分光特有のディープラーニングアーキテクチャで、スペクトル情報のみを使用してクラウド検出を行う。
スペクトル測定を画像チャネルではなくシーケンスとして扱うことで、SpecTfは空間的コンテキストに依存することなく、基本的な物理的関係を学習する。
我々は、異なるプラットフォーム上の異なる機器にそれを適用することで、SpecTfのクロスストラクチャー一般化の可能性を示す。
論文 参考訳（メタデータ） (2025-01-09T02:14:12Z) - Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。
局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。
グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
論文 参考訳（メタデータ） (2025-01-02T15:14:40Z) - Correlation Hyperspectral Imaging [0.0]
ハイパースペクトルイメージングは、高解像度で光の空間分布とスペクトル分布の両方に関する情報を提供することを目的としている。
従来のハイパースペクトル画像技術の典型的な欠点を克服できる光強度相関を利用して、この制限に対処する。
空間・スペクトルの高分解能化,高速化,望ましくないスペクトル特性に対する感度化の両立は,ハイパースペクトルイメージング装置のパラダイム変更につながる。
論文 参考訳（メタデータ） (2024-07-18T19:54:44Z) - HTD-Mamba: Efficient Hyperspectral Target Detection with Pyramid State Space Model [5.505983410956103]
ハイパースペクトルターゲット検出(HTD)は、ピクセルレベルの複雑な背景から興味のある対象を特定する。
本稿では, HTD-Mamba というピラミッド状態空間モデル (SSM) を用いた効率的な自己教師型 HTD 手法を提案する。
4つの公開データセットで行った実験により,提案手法は定量評価と定性評価の両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-07-09T13:21:26Z) - SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。
既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。
我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
論文 参考訳（メタデータ） (2023-11-13T07:09:30Z) - SSIF: Learning Continuous Image Representation for Spatial-Spectral
Super-Resolution [73.46167948298041]
本稿では,空間領域における連続画素座標とスペクトル領域における連続波長の両方の関数として,画像を表すニューラル暗黙モデルを提案する。
SSIFは空間分解能とスペクトル分解能の両方によく対応していることを示す。
ダウンストリームタスクのパフォーマンスを1.7%-7%向上させる高解像度画像を生成することができる。
論文 参考訳（メタデータ） (2023-09-30T15:23:30Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳（メタデータ） (2023-07-26T07:45:14Z) - Unsupervised Spectral Demosaicing with Lightweight Spectral Attention
Networks [6.7433262627741914]
本稿では、教師なしで訓練された深層学習に基づくスペクトル復調手法を提案する。
提案手法は, 空間歪み抑制, スペクトル忠実度, 頑健性, 計算コストの観点から, 従来の教師なし手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-05T02:45:44Z) - High Spectral Spatial Resolution Synthetic HyperSpectral Dataset form
multi-source fusion [7.249349307341409]
本研究では,高スペクトル像と空間分解能像を組み合わせた合成ハイパースペクトルデータセットを提案する。
提案したデータセットは、RGB、プッシュブルーム可視型ハイパースペクトルカメラ、スナップショット赤外線ハイパースペクトルカメラの3つのモードを活用することで、この制限に対処する。
論文 参考訳（メタデータ） (2023-06-25T11:17:12Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳（メタデータ） (2020-05-18T14:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。