論文の概要: SpecDM: Hyperspectral Dataset Synthesis with Pixel-level Semantic Annotations

• arxiv url: http://arxiv.org/abs/2502.17056v1
• Date: Mon, 24 Feb 2025 11:13:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:53:57.638930
• Title: SpecDM: Hyperspectral Dataset Synthesis with Pixel-level Semantic Annotations
• Title（参考訳）: SpecDM: ピクセルレベルのセマンティックアノテーションを用いたハイパースペクトルデータセット合成
• Authors: Wendi Liu, Pei Yang, Wenhui Hong, Xiaoguang Mei, Jiayi Ma,
• Abstract要約: 本稿では,画素レベルのアノテーションを用いたハイパースペクトル画像の合成における生成拡散モデルの可能性について検討する。 私たちの知る限りでは、アノテーションで高次元のHSIを生成するのはこれが初めてです。 我々は、セマンティックセグメンテーションと変化検出の2つの最も広く使われている密集予測タスクを選択し、これらのタスクに適したデータセットを生成する。
• 参考スコア（独自算出の注目度）: 27.391859339238906
• License:
• Abstract: In hyperspectral remote sensing field, some downstream dense prediction tasks, such as semantic segmentation (SS) and change detection (CD), rely on supervised learning to improve model performance and require a large amount of manually annotated data for training. However, due to the needs of specific equipment and special application scenarios, the acquisition and annotation of hyperspectral images (HSIs) are often costly and time-consuming. To this end, our work explores the potential of generative diffusion model in synthesizing HSIs with pixel-level annotations. The main idea is to utilize a two-stream VAE to learn the latent representations of images and corresponding masks respectively, learn their joint distribution during the diffusion model training, and finally obtain the image and mask through their respective decoders. To the best of our knowledge, it is the first work to generate high-dimensional HSIs with annotations. Our proposed approach can be applied in various kinds of dataset generation. We select two of the most widely used dense prediction tasks: semantic segmentation and change detection, and generate datasets suitable for these tasks. Experiments demonstrate that our synthetic datasets have a positive impact on the improvement of these downstream tasks.
• Abstract（参考訳）: ハイパースペクトルリモートセンシング分野において、セマンティックセグメンテーション(SS)や変化検出(CD)といった下流の高密度予測タスクは、モデル性能を改善するために教師付き学習に依存しており、トレーニングには大量の手動の注釈付きデータを必要とする。 しかし、特定の機器や特殊な応用シナリオの必要性から、ハイパースペクトル画像(HSI)の取得とアノテーションはコストと時間を要することが多い。 そこで本研究では,HSIをピクセルレベルのアノテーションで合成する際の生成拡散モデルの可能性について検討する。 主な目的は,2ストリームのVAEを用いて画像と対応するマスクの潜伏表現を学習し,拡散モデルトレーニング中に共同分布を学習し,最終的に各デコーダを介して画像とマスクを取得することである。 私たちの知る限りでは、アノテーションで高次元のHSIを生成するのはこれが初めてです。 提案手法は様々な種類のデータセット生成に適用できる。 我々は、セマンティックセグメンテーションと変更検出の2つの最も広く使われている密集予測タスクを選択し、これらのタスクに適したデータセットを生成する。 実験により、我々の合成データセットは、これらの下流タスクの改善に肯定的な影響を及ぼすことが示された。

関連論文リスト

• Adversarial Semantic Augmentation for Training Generative Adversarial Networks under Limited Data [27.27230943686822]
  本稿では,画像レベルではなくセマンティックレベルでトレーニングデータを拡大するために,敵対的セマンティック拡張(ASA)手法を提案する。 本手法は, 各種データ構造下での合成品質を継続的に改善する。
  論文  参考訳（メタデータ） (2025-02-02T13:50:38Z)
• Img-Diff: Contrastive Data Synthesis for Multimodal Large Language Models [49.439311430360284]
  コントラスト学習と画像差分キャプションにインスパイアされた新しいデータ合成手法を提案する。 私たちのキーとなるアイデアは、マッチングと異なる要素の両方を識別するためにモデルに挑戦することです。 我々は、この生成されたデータセットを利用して、最先端(SOTA)MLLMを微調整する。
  論文  参考訳（メタデータ） (2024-08-08T17:10:16Z)
• Finding Meaning in Points: Weakly Supervised Semantic Segmentation for Event Cameras [45.063747874243276]
  本稿では,イベントベースセマンティックセマンティックセグメンテーションのための新しい弱教師付きアプローチEV-WSSSを提案する。 提案フレームワークは,(1)前向きのイベントデータと(2)逆向きのイベントデータとの間に非対称な二重学習を行う。 提案手法は,画素レベルの高密度地下真実に頼らずとも,かなりのセグメンテーション結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-15T20:00:50Z)
• SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation [69.42764583465508]
  我々は,地球観測における注釈付きデータの不足に対処するために,生成的画像拡散の可能性を探る。 我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。
  論文  参考訳（メタデータ） (2024-03-25T10:30:22Z)
• Rethinking Transformers Pre-training for Multi-Spectral Satellite Imagery [78.43828998065071]
  教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。 このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。 本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
  論文  参考訳（メタデータ） (2024-03-08T16:18:04Z)
• SatDM: Synthesizing Realistic Satellite Image with Semantic Layout Conditioning using Diffusion Models [0.0]
  Denoising Diffusion Probabilistic Models (DDPM) は意味的レイアウトから現実的なイメージを合成する上で大きな可能性を証明している。 本稿では,セマンティックマップを用いて高品質で多様な衛星画像を生成する条件付きDDPMモデルを提案する。 提案モデルの有効性は,本研究の文脈内で導入した詳細なラベル付きデータセットを用いて検証する。
  論文  参考訳（メタデータ） (2023-09-28T19:39:13Z)
• DatasetDM: Synthesizing Data with Perception Annotations Using Diffusion Models [61.906934570771256]
  多様な合成画像や知覚アノテーションを生成できる汎用データセット生成モデルを提案する。 本手法は,事前学習した拡散モデルに基づいて,テキスト誘導画像合成を知覚データ生成に拡張する。 拡散モデルのリッチ潜時コードはデコーダモジュールを用いて正確な認識アノテーションとして効果的に復号できることを示す。
  論文  参考訳（メタデータ） (2023-08-11T14:38:11Z)
• Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
  我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。 次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。 最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
  論文  参考訳（メタデータ） (2022-06-21T17:40:55Z)
• Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [94.16816278191477]
  本稿では,セミアダプティブなセマンティックセマンティックセマンティックセグメンテーションのためのフレームワークを提案する。 ラベルのない画像シーケンスでのみ訓練された自己教師付き単眼深度推定によって強化される。 提案したモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2021-08-28T01:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。