論文の概要: Language-Informed Hyperspectral Image Synthesis for Imbalanced-Small Sample Classification via Semi-Supervised Conditional Diffusion Model

• arxiv url: http://arxiv.org/abs/2502.19700v1
• Date: Thu, 27 Feb 2025 02:35:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 15:15:46.727128
• Title: Language-Informed Hyperspectral Image Synthesis for Imbalanced-Small Sample Classification via Semi-Supervised Conditional Diffusion Model
• Title（参考訳）: 半教師付き条件拡散モデルを用いた言語インフォームドハイパースペクトル画像合成による不均衡スモールサンプル分類
• Authors: Yimin Zhu, Linlin Xu,
• Abstract要約: 本稿では,HSICのICC問題に対処する言語インフォームドハイパースペクトル画像合成法(Txt2HSI-LDM(VAE))を提案する。 高次元超スペクトルデータに対処するために、多変数オートエンコーダ(VAE)を用いて、超スペクトルを低次元の潜在空間にマッピングし、安定な特徴表現を得る。 VAEは、条件言語を入力として拡散モデルによって生成された潜在空間からHSIをデコードし、より現実的で多様なサンプルに寄与する。
• 参考スコア（独自算出の注目度）: 8.600534616819333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although data augmentation is an effective method to address the imbalanced-small sample data (ISSD) problem in hyperspectral image classification (HSIC), most methodologies extend features in the latent space. Few, however, generate realistic and diverse samples using text information to balance the limited number of annotated samples. Recently, text-driven diffusion models have gained significant attention due to their remarkable ability to generate highly diverse images based on given text prompts in natural image synthesis. Therefore, this paper proposes a novel language-informed hyperspectral image synthesis method (Txt2HSI-LDM(VAE)) for addressing the ISSD problem of HSIC. First, for addressing the high-dimensional hyperspectral data, we use universal varitional autoencoeder (VAE) to map the hyperspectral into a low-dimensional latent space and get stable feature representation, which hugely reduce the inference parameter of diffusion model. Next, a semi-supervised diffusion model is designed for fully taking advantage of unlabeled data, beside, random polygon spatial clipping (RPSC) and uncertainty estimation of latent feature (LF-UE) are also used for simulating the varying degrees of mixing of training data. Then, VAE decodes HSI from latent space generated by diffusion model with the conditional language as input, contributing to more realistic and diverse samples. In our experiments, we fully evaluate the effectiveness of synthetic samples from aspect of statistical characteristic and data distribution in 2D-PCA space. Additionally, cross-attention map is visualized on the pixel-level to prove that our proposed model can capture the spatial layout of and geometry of the generated hyperspectral image depend on the visual-linguistic alignment.
• Abstract（参考訳）: データ拡張は高スペクトル画像分類(HSIC)における不均衡小サンプルデータ(ISSD)問題に対処する有効な手法であるが、ほとんどの手法は潜時空間の特徴を拡張している。 しかし、注釈付きサンプルの限られた数のバランスをとるためにテキスト情報を用いて現実的で多様なサンプルを生成するものはほとんどない。 近年,自然画像合成におけるテキストプロンプトに基づいて,高度に多様な画像を生成する能力により,テキスト駆動拡散モデルが注目されている。 そこで本稿では,HSIC の ISSD 問題に対処する言語インフォームドハイパースペクトル画像合成法 (Txt2HSI-LDM(VAE)) を提案する。 まず,高次元ハイパースペクトルデータに対処するために,多変数オートエンコーダ(VAE)を用いて,高スペクトルを低次元潜在空間にマッピングし,安定な特徴表現を得る。 次に、ランダムポリゴン空間クリッピング(RPSC)と潜在特徴の不確実性推定(LF-UE)を併用して、トレーニングデータの混合の様々な度合いをシミュレートする半教師付き拡散モデルを提案する。 次に、VAEは、条件言語を入力として拡散モデルによって生成された潜時空間からHSIをデコードし、より現実的で多様なサンプルに寄与する。 本研究では,2次元PCA空間における統計特性およびデータ分布の観点から,合成試料の有効性を十分に評価した。 さらに,画素レベルでのクロスアテンションマップを可視化し,提案モデルが生成したハイパースペクトル画像の空間的レイアウトと形状を視覚言語的アライメントに依存することを示す。

関連論文リスト

• Diffusion Models Learn Low-Dimensional Distributions via Subspace Clustering [15.326641037243006]
  拡散モデルは画像分布を効果的に学習し、新しいサンプルを生成する。 我々は、この現象に関する理論的な洞察を、重要な経験的観測を利用して提供する。 基礎となる分布を学習するのに必要となるサンプルの最小数は、本質的な次元と線形にスケールすることを示す。
  論文  参考訳（メタデータ） (2024-09-04T04:14:02Z)
• Latent diffusion models for parameterization and data assimilation of facies-based geomodels [0.0]
  拡散モデルは、ランダムノイズを特徴とする入力場から新しい地質学的実現を生成するために訓練される。 遅延拡散モデルは、ジオモデリングソフトウェアからのサンプルと視覚的に整合した実現を提供する。
  論文  参考訳（メタデータ） (2024-06-21T01:32:03Z)
• Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI [29.13807697733638]
  自然画像の生成的サンプリングにおける顕著な成果の上に構築する。 我々は、画像に似たサンプルを生成するという、画期的な挑戦を、潜在的に過度に野心的に提案する。 統計上の課題は、小さなサンプルサイズであり、時には数百人の被験者で構成されている。
  論文  参考訳（メタデータ） (2024-04-10T22:35:06Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Risk-Sensitive Diffusion: Robustly Optimizing Diffusion Models with Noisy Samples [58.68233326265417]
  非画像データは実際のアプリケーションで広く使われており、ノイズが多い傾向にある。 リスク感受性SDEは、リスクベクトルによってパラメータ化された微分方程式(SDE)の一種である。 我々はガウス雑音分布と非ガウス雑音分布の両方について系統的研究を行う。
  論文  参考訳（メタデータ） (2024-02-03T08:41:51Z)
• Towards Detailed Text-to-Motion Synthesis via Basic-to-Advanced Hierarchical Diffusion Model [60.27825196999742]
  本稿では,B2A-HDMと呼ばれる新しい階層型拡散モデルを提案する。 特に、低次元ラテント空間における基本拡散モデルは、テキスト記述と整合した中間偏微分結果を与える。 高次元ラテント空間における高度な拡散モデルは、以下の詳細エンハンス・デノナイジング過程に焦点をあてる。
  論文  参考訳（メタデータ） (2023-12-18T06:30:39Z)
• Discovery and Expansion of New Domains within Diffusion Models [41.25905891327446]
  拡散モデルの一般化特性を数発のセットアップで検討する。 ドメイン外のターゲットデータを合成するための新しいチューニング不要パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-13T16:07:31Z)
• SatDM: Synthesizing Realistic Satellite Image with Semantic Layout Conditioning using Diffusion Models [0.0]
  Denoising Diffusion Probabilistic Models (DDPM) は意味的レイアウトから現実的なイメージを合成する上で大きな可能性を証明している。 本稿では,セマンティックマップを用いて高品質で多様な衛星画像を生成する条件付きDDPMモデルを提案する。 提案モデルの有効性は,本研究の文脈内で導入した詳細なラベル付きデータセットを用いて検証する。
  論文  参考訳（メタデータ） (2023-09-28T19:39:13Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• DiffUCD:Unsupervised Hyperspectral Image Change Detection with Semantic Correlation Diffusion Model [46.68717345017946]
  ハイパースペクトル画像変化検出(HSI-CD)はリモートセンシングにおいて重要な研究領域となっている。 意味相関拡散モデル(DiffUCD)を用いた新しい教師なしHSI-CDを提案する。 提案手法は,多数のサンプルを必要とする完全教師付き手法に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2023-05-21T09:21:41Z)
• Boosting Human-Object Interaction Detection with Text-to-Image Diffusion Model [22.31860516617302]
  本稿では,事前学習したテキスト画像拡散モデルに基づく新しいHOI検出方式であるDiffHOIを紹介する。 HOIデータセットのギャップを埋めるために、クラスバランス、大規模、高多様性の合成データセットであるSynHOIを提案する。 実験により、DiffHOIは通常の検出(41.50 mAP)とゼロショット検出において、最先端の技術を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2023-05-20T17:59:23Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• DiffuseVAE: Efficient, Controllable and High-Fidelity Generation from Low-Dimensional Latents [26.17940552906923]
  本稿では,拡散モデルフレームワーク内にVAEを統合する新しい生成フレームワークであるDiffuseVAEを紹介する。 提案モデルは高分解能サンプルを生成でき、標準ベンチマークの最先端モデルに匹敵する品質を示す。
  論文  参考訳（メタデータ） (2022-01-02T06:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。