論文の概要: SSIF: Learning Continuous Image Representation for Spatial-Spectral Super-Resolution

• arxiv url: http://arxiv.org/abs/2310.00413v1
• Date: Sat, 30 Sep 2023 15:23:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 04:29:19.911360
• Title: SSIF: Learning Continuous Image Representation for Spatial-Spectral Super-Resolution
• Title（参考訳）: SSIF:空間スペクトル超解のための連続画像表現学習
• Authors: Gengchen Mai, Ni Lao, Weiwei Sun, Yuchi Ma, Jiaming Song, Chenlin Meng, Hongxu Ma, Jinmeng Rao, Ziyuan Li, Stefano Ermon
• Abstract要約: 本稿では,空間領域における連続画素座標とスペクトル領域における連続波長の両方の関数として,画像を表すニューラル暗黙モデルを提案する。 SSIFは空間分解能とスペクトル分解能の両方によく対応していることを示す。 ダウンストリームタスクのパフォーマンスを1.7%-7%向上させる高解像度画像を生成することができる。
• 参考スコア（独自算出の注目度）: 73.46167948298041
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Existing digital sensors capture images at fixed spatial and spectral resolutions (e.g., RGB, multispectral, and hyperspectral images), and each combination requires bespoke machine learning models. Neural Implicit Functions partially overcome the spatial resolution challenge by representing an image in a resolution-independent way. However, they still operate at fixed, pre-defined spectral resolutions. To address this challenge, we propose Spatial-Spectral Implicit Function (SSIF), a neural implicit model that represents an image as a function of both continuous pixel coordinates in the spatial domain and continuous wavelengths in the spectral domain. We empirically demonstrate the effectiveness of SSIF on two challenging spatio-spectral super-resolution benchmarks. We observe that SSIF consistently outperforms state-of-the-art baselines even when the baselines are allowed to train separate models at each spectral resolution. We show that SSIF generalizes well to both unseen spatial resolutions and spectral resolutions. Moreover, SSIF can generate high-resolution images that improve the performance of downstream tasks (e.g., land use classification) by 1.7%-7%.
• Abstract（参考訳）: 既存のデジタルセンサーは、固定された空間分解能とスペクトル分解能(例えば、RGB、マルチスペクトル、ハイパースペクトル画像)で画像をキャプチャし、それぞれの組み合わせはbespoke機械学習モデルを必要とする。 ニューラルインプリシット関数は、画像を解像度に依存しない方法で表現することで、空間分解能の課題を部分的に克服する。 しかし、それらはまだ、予め定義されたスペクトル分解能で動作している。 この課題に対処するために,空間領域における連続画素座標とスペクトル領域における連続波長の両方の関数として画像を表すニューラル暗黙モデルであるSpatial-Spectral Implicit Function (SSIF)を提案する。 SSIFの2つの挑戦スペクトル超解像ベンチマークにおける有効性を実証的に実証した。 我々は、ベースラインがスペクトル分解能ごとに別々のモデルを訓練できる場合でも、ssifは最先端のベースラインを一貫して上回っていることを観察する。 SSIFは空間分解能とスペクトル分解能の両方によく対応していることを示す。 さらに、SSIFは下流タスク(例えば土地利用分類)の性能を1.7%-7%向上させる高解像度画像を生成することができる。

関連論文リスト

• Physics-Inspired Degradation Models for Hyperspectral Image Fusion [61.743696362028246]
  ほとんどの融合法は、融合アルゴリズム自体にのみ焦点をあて、分解モデルを見落としている。 我々は、LR-HSIとHR-MSIの劣化をモデル化するための物理インスパイアされた劣化モデル(PIDM)を提案する。 提案したPIDMは,既存の核融合法における核融合性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-02-04T09:07:28Z)
• Superpixel-based and Spatially-regularized Diffusion Learning for Unsupervised Hyperspectral Image Clustering [4.643572021927615]
  本稿では,新しい教師なしHSIクラスタリングアルゴリズム,スーパーピクセルベースおよび空間正規化拡散学習(S2DL)を提案する。 S2DLは、HSIに符号化された豊富な空間情報を拡散幾何学に基づくクラスタリングに組み込む。 S2DLのパフォーマンスは、公開されている実世界の3つのHSIに関する広範な実験で説明されている。
  論文  参考訳（メタデータ） (2023-12-24T09:54:40Z)
• Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency [21.233354336608205]
  本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。 CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-07-07T06:47:15Z)
• Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion [67.35540259040806]
  サブピクセルレベルのHS超解像フレームワークを提案する。 名前が示すように、DC-Netはまず入力を共通(またはクロスセンサー)とセンサー固有のコンポーネントに分離する。 我々は,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
  論文  参考訳（メタデータ） (2022-05-07T23:40:36Z)
• HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
  HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。 一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。 一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
  論文  参考訳（メタデータ） (2022-03-04T06:37:45Z)
• A Latent Encoder Coupled Generative Adversarial Network (LE-GAN) for Efficient Hyperspectral Image Super-resolution [3.1023808510465627]
  GAN(Generative Adversarial Network)は画像超解像のための効果的なディープラーニングフレームワークであることが証明されている。 モード崩壊の問題を緩和するため,本研究では,潜在エンコーダ(LE-GAN)と組み合わせた新しいGANモデルを提案する。 LE-GANは、生成したスペクトル空間の特徴を画像空間から潜在空間にマッピングし、生成したサンプルを正規化するための結合成分を生成する。
  論文  参考訳（メタデータ） (2021-11-16T18:40:19Z)
• Hyperspectral Image Super-resolution via Deep Progressive Zero-centric Residual Learning [62.52242684874278]
  空間情報とスペクトル情報の相互モダリティ分布が問題となる。 本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。 本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
  論文  参考訳（メタデータ） (2020-06-18T06:32:11Z)
• Hyperspectral Image Super-resolution via Deep Spatio-spectral Convolutional Neural Networks [32.10057746890683]
  本稿では,高分解能ハイパースペクトル像と高分解能マルチスペクトル像を融合させる,深部畳み込みニューラルネットワークの簡易かつ効率的なアーキテクチャを提案する。 提案したネットワークアーキテクチャは,近年の最先端ハイパースペクトル画像の超解像化手法と比較して,最高の性能を達成している。
  論文  参考訳（メタデータ） (2020-05-29T05:56:50Z)
• Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery [79.69449412334188]
  本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。 本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。 実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
  論文  参考訳（メタデータ） (2020-05-18T14:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。