論文の概要: HSIGene: A Foundation Model For Hyperspectral Image Generation

• arxiv url: http://arxiv.org/abs/2409.12470v2
• Date: Fri, 1 Nov 2024 04:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 14:41:29.311372
• Title: HSIGene: A Foundation Model For Hyperspectral Image Generation
• Title（参考訳）: HSIGene:ハイパースペクトル画像生成の基礎モデル
• Authors: Li Pang, Xiangyong Cao, Datao Tang, Shuang Xu, Xueru Bai, Feng Zhou, Deyu Meng,
• Abstract要約: ハイパースペクトル画像(HSI)は農業や環境モニタリングなど様々な分野で重要な役割を果たしている。 高価な取得コストのため、ハイパースペクトル画像の数は制限され、下流タスクのパフォーマンスが低下する。 遅延拡散に基づく多条件制御をサポートする新しいHSI生成基盤モデルであるHSIGeneを提案する。 実験により,提案モデルでは,デノナイズや超解像といった下流タスクに対して,膨大な量の現実的なHSIを生成することができることが示された。
• 参考スコア（独自算出の注目度）: 46.745198868466545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperspectral image (HSI) plays a vital role in various fields such as agriculture and environmental monitoring. However, due to the expensive acquisition cost, the number of hyperspectral images is limited, degenerating the performance of downstream tasks. Although some recent studies have attempted to employ diffusion models to synthesize HSIs, they still struggle with the scarcity of HSIs, affecting the reliability and diversity of the generated images. Some studies propose to incorporate multi-modal data to enhance spatial diversity, but the spectral fidelity cannot be ensured. In addition, existing HSI synthesis models are typically uncontrollable or only support single-condition control, limiting their ability to generate accurate and reliable HSIs. To alleviate these issues, we propose HSIGene, a novel HSI generation foundation model which is based on latent diffusion and supports multi-condition control, allowing for more precise and reliable HSI generation. To enhance the spatial diversity of the training data while preserving spectral fidelity, we propose a new data augmentation method based on spatial super-resolution, in which HSIs are upscaled first, and thus abundant training patches could be obtained by cropping the high-resolution HSIs. In addition, to improve the perceptual quality of the augmented data, we introduce a novel two-stage HSI super-resolution framework, which first applies RGB bands super-resolution and then utilizes our proposed Rectangular Guided Attention Network (RGAN) for guided HSI super-resolution. Experiments demonstrate that the proposed model is capable of generating a vast quantity of realistic HSIs for downstream tasks such as denoising and super-resolution. The code and models are available at https://github.com/LiPang/HSIGene.
• Abstract（参考訳）: ハイパースペクトル画像(HSI)は農業や環境モニタリングなど様々な分野で重要な役割を果たしている。 しかし、高コストな取得コストのため、ハイパースペクトル画像の数は制限され、下流タスクの性能が低下する。 近年、拡散モデルを用いてHSIを合成しようとする研究もあるが、それでもHSIの不足に悩まされ、生成した画像の信頼性と多様性に影響を及ぼす。 空間的多様性を高めるためにマルチモーダルデータを組み込むことを提案する研究もあるが、スペクトルの忠実度は保証できない。 さらに、既存のHSI合成モデルは、通常は制御不能または単一条件制御のみをサポートし、正確で信頼性の高いHSIを生成する能力を制限する。 これらの問題を緩和するため,我々は遅延拡散に基づく新しいHSI生成基盤モデルであるHSIGeneを提案し,より正確で信頼性の高いHSI生成を実現する。 スペクトル密度を保ちながらトレーニングデータの空間的多様性を高めるため,空間超解像に基づく新たなデータ拡張手法を提案する。 さらに,拡張データの知覚的品質を向上させるために,まずRGBバンドを超解像化し,次に,ガイド付きHSI超解像にRGAN(Rectangular Guided Attention Network)を用いた新しい2段階HSI超解像フレームワークを導入する。 実験により,提案モデルでは,デノナイズや超解像といった下流タスクに対して,膨大な量の現実的なHSIを生成することができることが示された。 コードとモデルはhttps://github.com/LiPang/HSIGene.comで入手できる。

関連論文リスト

• A Hybrid Registration and Fusion Method for Hyperspectral Super-resolution [0.913509220304172]
  本稿ではRAF-NLRGSというハイブリッド登録・融合モデルを提案する。 RAFモデルは、残余データグループに埋め込まれた貴重な情報を活用するために、制約付きグループ空間を組み込む。 一般化ガウスニュートン(GGN)アルゴリズムと近似交互最適化(PAO)の枠組みも提示する。
  論文  参考訳（メタデータ） (2024-07-07T06:36:19Z)
• HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
  Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。 特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。 スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
  論文  参考訳（メタデータ） (2024-06-17T13:22:58Z)
• Diffusion-based generation of Histopathological Whole Slide Images at a Gigapixel scale [10.481781668319886]
  Synthetic Whole Slide Images (WSI)は、多くの計算アプリケーションの性能を高めるためにトレーニングデータセットを増強することができる。 既存のディープラーニングベースの手法は、WSIを通常高い解像度で生成しない。 本稿では,高分解能 WSI の画像生成に取り組むために,新しい粗大なサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T14:33:39Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency [21.233354336608205]
  本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。 CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-07-07T06:47:15Z)
• HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
  HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。 一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。 一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
  論文  参考訳（メタデータ） (2022-03-04T06:37:45Z)
• A Latent Encoder Coupled Generative Adversarial Network (LE-GAN) for Efficient Hyperspectral Image Super-resolution [3.1023808510465627]
  GAN(Generative Adversarial Network)は画像超解像のための効果的なディープラーニングフレームワークであることが証明されている。 モード崩壊の問題を緩和するため,本研究では,潜在エンコーダ(LE-GAN)と組み合わせた新しいGANモデルを提案する。 LE-GANは、生成したスペクトル空間の特徴を画像空間から潜在空間にマッピングし、生成したサンプルを正規化するための結合成分を生成する。
  論文  参考訳（メタデータ） (2021-11-16T18:40:19Z)
• Hyperspectral Pansharpening Based on Improved Deep Image Prior and Residual Reconstruction [64.10636296274168]
  高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化 近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。 深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
  論文  参考訳（メタデータ） (2021-07-06T14:11:03Z)
• Unsupervised Alternating Optimization for Blind Hyperspectral Imagery Super-resolution [40.350308926790255]
  本稿では, 盲点HSI融合問題に対処するために, 盲点HSI SR法を提案する。 本稿ではまず,デジェネレーションモデルを推定し,遅延画像の再構成を行うために,逐次最適化に基づく深層フレームワークを提案する。 そして,ネットワークを事前学習するメタラーニングに基づく機構が提案され,ネットワークの速度と一般化能力を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2020-12-03T07:52:32Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。