論文の概要: SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2403.16605v1
• Date: Mon, 25 Mar 2024 10:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 15:08:28.656932
• Title: SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation
• Title（参考訳）: SatSynth: 航空セマンティックセグメンテーションのための拡散モデルによる画像マスクペアの拡大
• Authors: Aysim Toker, Marvin Eisenberger, Daniel Cremers, Laura Leal-Taixé,
• Abstract要約: 我々は,地球観測における注釈付きデータの不足に対処するために,生成的画像拡散の可能性を探る。 我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。
• 参考スコア（独自算出の注目度）: 69.42764583465508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, semantic segmentation has become a pivotal tool in processing and interpreting satellite imagery. Yet, a prevalent limitation of supervised learning techniques remains the need for extensive manual annotations by experts. In this work, we explore the potential of generative image diffusion to address the scarcity of annotated data in earth observation tasks. The main idea is to learn the joint data manifold of images and labels, leveraging recent advancements in denoising diffusion probabilistic models. To the best of our knowledge, we are the first to generate both images and corresponding masks for satellite segmentation. We find that the obtained pairs not only display high quality in fine-scale features but also ensure a wide sampling diversity. Both aspects are crucial for earth observation data, where semantic classes can vary severely in scale and occurrence frequency. We employ the novel data instances for downstream segmentation, as a form of data augmentation. In our experiments, we provide comparisons to prior works based on discriminative diffusion models or GANs. We demonstrate that integrating generated samples yields significant quantitative improvements for satellite semantic segmentation -- both compared to baselines and when training only on the original data.
• Abstract（参考訳）: 近年、セマンティックセグメンテーションは衛星画像の処理と解釈において重要なツールとなっている。 しかし、教師あり学習技術の限界は、専門家による広範囲な手作業による注釈の必要性に変わりはない。 本研究では,地球観測におけるアノテートデータの不足に対処するために,生成的画像拡散の可能性について検討する。 主な考え方は画像とラベルの合同データ多様体を学習し、拡散確率モデルを認知する最近の進歩を活用することである。 我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。 得られたペアは, 高品質な微細な特徴を示すだけでなく, 広範囲なサンプリングの多様性も確保できることがわかった。 どちらの側面も地球観測データにとって重要であり、セマンティッククラスはスケールや発生頻度で大きく変化する可能性がある。 我々は、データ拡張の一形態として、下流セグメンテーションに新しいデータインスタンスを使用します。 本実験では,識別拡散モデル(GAN)に基づく先行研究との比較を行った。 生成したサンプルを統合することで、衛星のセマンティックセグメンテーションにおいて、ベースラインや元のデータのみをトレーニングする場合と比較して、重要な定量的改善が得られます。

関連論文リスト

• Evaluating the Efficacy of Cut-and-Paste Data Augmentation in Semantic Segmentation for Satellite Imagery [4.499833362998487]
  本研究では,衛星画像のセマンティックセグメンテーションにおけるカット・アンド・ペースト拡張手法の有効性について検討した。 私たちは、通常ラベル付きインスタンスを必要とするこの拡張を、セマンティックセグメンテーションのケースに適用します。 評価のためにDynamicEarthNetデータセットとU-Netモデルを用いて、この拡張により、テストセットのmIoUスコアが37.9から44.1に大幅に向上することを発見した。
  論文  参考訳（メタデータ） (2024-04-08T17:18:30Z)
• Rethinking Transformers Pre-training for Multi-Spectral Satellite Imagery [78.43828998065071]
  教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。 このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。 本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
  論文  参考訳（メタデータ） (2024-03-08T16:18:04Z)
• EmerDiff: Emerging Pixel-level Semantic Knowledge in Diffusion Models [52.3015009878545]
  我々は、追加の訓練をすることなく、きめ細かなセグメンテーションマップを生成できる画像セグメンタを開発した。 低次元特徴写像の空間的位置と画像画素間の意味的対応を同定する。 大規模な実験では、生成したセグメンテーションマップがよく説明され、画像の細部を捉えることが示されている。
  論文  参考訳（メタデータ） (2024-01-22T07:34:06Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• DiffusionSat: A Generative Foundation Model for Satellite Imagery [63.2807119794691]
  現在、DiffusionSatは、現在利用可能な大規模な高解像度リモートセンシングデータセットのコレクションに基づいてトレーニングされている、最大の生成基盤モデルである。 提案手法は, リアルタイムなサンプルを作成し, 時間生成, マルチスペクトル入力の超解像, インペイントなどの複数の生成課題を解くのに利用できる。
  論文  参考訳（メタデータ） (2023-12-06T16:53:17Z)
• ScribbleGen: Generative Data Augmentation Improves Scribble-supervised Semantic Segmentation [10.225021032417589]
  本稿では,スクリブル教師付きセマンティックセグメンテーションのための生成データ拡張手法であるScribbleGenを提案する。 セマンティックスクリブルに条件付き制御ネット拡散モデルを用いて,高品質なトレーニングデータを生成する。 我々のフレームワークは、完全に教師されたセグメンテーションを超越しても、小さなデータセットでのセグメンテーション性能を著しく改善することを示す。
  論文  参考訳（メタデータ） (2023-11-28T13:44:33Z)
• Effective Data Augmentation With Diffusion Models [65.09758931804478]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• Label-Efficient Semantic Segmentation with Diffusion Models [27.01899943738203]
  拡散モデルは意味的セグメンテーションの道具としても機能することを示した。 特に、いくつかの事前訓練拡散モデルに対して、逆拡散過程のマルコフステップを実行するネットワークからの中間活性化について検討する。 これらのアクティベーションは、入力画像から意味情報を効果的にキャプチャし、セグメンテーション問題に対して優れたピクセルレベルの表現であることを示す。
  論文  参考訳（メタデータ） (2021-12-06T15:55:30Z)
• Self-Supervised Generative Style Transfer for One-Shot Medical Image Segmentation [10.634870214944055]
  医用画像のセグメンテーションにおいて、教師付きディープネットワークの成功は、豊富なラベル付きデータを必要とするコストが伴う。 本稿では,ボリューム画像分割ペアを合成可能なデータ拡張のための,新しいボリューム自己教師型学習法を提案する。 我々の研究の中心的信条は、ワンショット生成学習と自己指導型学習戦略の併用による恩恵を受けている。
  論文  参考訳（メタデータ） (2021-10-05T15:28:42Z)
• An Efficient Method for the Classification of Croplands in Scarce-Label Regions [0.0]
  衛星時系列画像による農地分類の主な課題は、地表面データ不足と、未開発地域における高品質のハイパースペクトル画像の到達不能である。 ラベルなしの中解像度衛星画像は豊富だが、その恩恵を受けるにはオープンな問題だ。 自監督タスクを用いた作物分類におけるその可能性の活用方法を示す。
  論文  参考訳（メタデータ） (2021-03-17T12:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。