Fugu-MT 論文翻訳(概要): HSIGene: A Foundation Model For Hyperspectral Image Generation

論文の概要: HSIGene: A Foundation Model For Hyperspectral Image Generation

arxiv url: http://arxiv.org/abs/2409.12470v2
Date: Fri, 1 Nov 2024 04:59:31 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 14:41:29.311372
Title: HSIGene: A Foundation Model For Hyperspectral Image Generation
Title（参考訳）: HSIGene:ハイパースペクトル画像生成の基礎モデル
Authors: Li Pang, Xiangyong Cao, Datao Tang, Shuang Xu, Xueru Bai, Feng Zhou, Deyu Meng,
Abstract要約: ハイパースペクトル画像(HSI)は農業や環境モニタリングなど様々な分野で重要な役割を果たしている。高価な取得コストのため、ハイパースペクトル画像の数は制限され、下流タスクのパフォーマンスが低下する。遅延拡散に基づく多条件制御をサポートする新しいHSI生成基盤モデルであるHSIGeneを提案する。実験により,提案モデルでは,デノナイズや超解像といった下流タスクに対して,膨大な量の現実的なHSIを生成することができることが示された。
参考スコア（独自算出の注目度）: 46.745198868466545
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hyperspectral image (HSI) plays a vital role in various fields such as agriculture and environmental monitoring. However, due to the expensive acquisition cost, the number of hyperspectral images is limited, degenerating the performance of downstream tasks. Although some recent studies have attempted to employ diffusion models to synthesize HSIs, they still struggle with the scarcity of HSIs, affecting the reliability and diversity of the generated images. Some studies propose to incorporate multi-modal data to enhance spatial diversity, but the spectral fidelity cannot be ensured. In addition, existing HSI synthesis models are typically uncontrollable or only support single-condition control, limiting their ability to generate accurate and reliable HSIs. To alleviate these issues, we propose HSIGene, a novel HSI generation foundation model which is based on latent diffusion and supports multi-condition control, allowing for more precise and reliable HSI generation. To enhance the spatial diversity of the training data while preserving spectral fidelity, we propose a new data augmentation method based on spatial super-resolution, in which HSIs are upscaled first, and thus abundant training patches could be obtained by cropping the high-resolution HSIs. In addition, to improve the perceptual quality of the augmented data, we introduce a novel two-stage HSI super-resolution framework, which first applies RGB bands super-resolution and then utilizes our proposed Rectangular Guided Attention Network (RGAN) for guided HSI super-resolution. Experiments demonstrate that the proposed model is capable of generating a vast quantity of realistic HSIs for downstream tasks such as denoising and super-resolution. The code and models are available at https://github.com/LiPang/HSIGene.
Abstract（参考訳）: ハイパースペクトル画像(HSI)は農業や環境モニタリングなど様々な分野で重要な役割を果たしている。しかし、高コストな取得コストのため、ハイパースペクトル画像の数は制限され、下流タスクの性能が低下する。近年、拡散モデルを用いてHSIを合成しようとする研究もあるが、それでもHSIの不足に悩まされ、生成した画像の信頼性と多様性に影響を及ぼす。空間的多様性を高めるためにマルチモーダルデータを組み込むことを提案する研究もあるが、スペクトルの忠実度は保証できない。さらに、既存のHSI合成モデルは、通常は制御不能または単一条件制御のみをサポートし、正確で信頼性の高いHSIを生成する能力を制限する。これらの問題を緩和するため,我々は遅延拡散に基づく新しいHSI生成基盤モデルであるHSIGeneを提案し,より正確で信頼性の高いHSI生成を実現する。スペクトル密度を保ちながらトレーニングデータの空間的多様性を高めるため,空間超解像に基づく新たなデータ拡張手法を提案する。さらに,拡張データの知覚的品質を向上させるために,まずRGBバンドを超解像化し,次に,ガイド付きHSI超解像にRGAN(Rectangular Guided Attention Network)を用いた新しい2段階HSI超解像フレームワークを導入する。実験により,提案モデルでは,デノナイズや超解像といった下流タスクに対して,膨大な量の現実的なHSIを生成することができることが示された。コードとモデルはhttps://github.com/LiPang/HSIGene.comで入手できる。

関連論文リスト

Hipandas: Hyperspectral Image Joint Denoising and Super-Resolution by Image Fusion with the Panchromatic Image [51.333064033152304]
最近打ち上げられた衛星は、HSIとパンクロマティック(PAN)画像の同時取得が可能になった。 Hipandasは、ノイズの多い低分解能HSIと高分解能PAN画像からHRHS画像を再構成する新しい学習パラダイムである。
論文参考訳（メタデータ） (2024-12-05T14:39:29Z)
EigenSR: Eigenimage-Bridged Pre-Trained RGB Learners for Single Hyperspectral Image Super-Resolution [15.459253235077375]
単一ハイパースペクトル画像超解像(単一HSI-SR)は、単一入力低解像度HSIの解像度を改善することを目的としている。データ不足のボトルネックのため、単一HSI-SRの開発はRGBの自然画像よりもはるかに遅れている。
論文参考訳（メタデータ） (2024-09-06T06:46:01Z)
A Hybrid Registration and Fusion Method for Hyperspectral Super-resolution [0.913509220304172]
本稿ではRAF-NLRGSというハイブリッド登録・融合モデルを提案する。 RAFモデルは、残余データグループに埋め込まれた貴重な情報を活用するために、制約付きグループ空間を組み込む。一般化ガウスニュートン(GGN)アルゴリズムと近似交互最適化(PAO)の枠組みも提示する。
論文参考訳（メタデータ） (2024-07-07T06:36:19Z)
HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
論文参考訳（メタデータ） (2024-06-17T13:22:58Z)
Diffusion-based generation of Histopathological Whole Slide Images at a Gigapixel scale [10.481781668319886]
Synthetic Whole Slide Images (WSI)は、多くの計算アプリケーションの性能を高めるためにトレーニングデータセットを増強することができる。既存のディープラーニングベースの手法は、WSIを通常高い解像度で生成しない。本稿では,高分解能 WSI の画像生成に取り組むために,新しい粗大なサンプリング手法を提案する。
論文参考訳（メタデータ） (2023-11-14T14:33:39Z)
Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency [21.233354336608205]
本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。 CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習するいくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
論文参考訳（メタデータ） (2023-07-07T06:47:15Z)
HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
論文参考訳（メタデータ） (2022-03-04T06:37:45Z)
A Latent Encoder Coupled Generative Adversarial Network (LE-GAN) for Efficient Hyperspectral Image Super-resolution [3.1023808510465627]
GAN(Generative Adversarial Network)は画像超解像のための効果的なディープラーニングフレームワークであることが証明されている。モード崩壊の問題を緩和するため,本研究では,潜在エンコーダ(LE-GAN)と組み合わせた新しいGANモデルを提案する。 LE-GANは、生成したスペクトル空間の特徴を画像空間から潜在空間にマッピングし、生成したサンプルを正規化するための結合成分を生成する。
論文参考訳（メタデータ） (2021-11-16T18:40:19Z)
Hyperspectral Pansharpening Based on Improved Deep Image Prior and Residual Reconstruction [64.10636296274168]
高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
論文参考訳（メタデータ） (2021-07-06T14:11:03Z)
Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
論文参考訳（メタデータ） (2020-07-10T08:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。