論文の概要: Label-Efficient Semantic Segmentation with Diffusion Models
- arxiv url: http://arxiv.org/abs/2112.03126v1
- Date: Mon, 6 Dec 2021 15:55:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 20:04:56.112645
- Title: Label-Efficient Semantic Segmentation with Diffusion Models
- Title(参考訳): 拡散モデルを用いたラベル効率の良いセマンティックセグメンテーション
- Authors: Dmitry Baranchuk, Ivan Rubachev, Andrey Voynov, Valentin Khrulkov,
Artem Babenko
- Abstract要約: 拡散モデルは意味的セグメンテーションの道具としても機能することを示した。
特に、いくつかの事前訓練拡散モデルに対して、逆拡散過程のマルコフステップを実行するネットワークからの中間活性化について検討する。
これらのアクティベーションは、入力画像から意味情報を効果的にキャプチャし、セグメンテーション問題に対して優れたピクセルレベルの表現であることを示す。
- 参考スコア(独自算出の注目度): 27.01899943738203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Denoising diffusion probabilistic models have recently received much research
attention since they outperform alternative approaches, such as GANs, and
currently provide state-of-the-art generative performance. The superior
performance of diffusion models has made them an appealing tool in several
applications, including inpainting, super-resolution, and semantic editing. In
this paper, we demonstrate that diffusion models can also serve as an
instrument for semantic segmentation, especially in the setup when labeled data
is scarce. In particular, for several pretrained diffusion models, we
investigate the intermediate activations from the networks that perform the
Markov step of the reverse diffusion process. We show that these activations
effectively capture the semantic information from an input image and appear to
be excellent pixel-level representations for the segmentation problem. Based on
these observations, we describe a simple segmentation method, which can work
even if only a few training images are provided. Our approach significantly
outperforms the existing alternatives on several datasets for the same amount
of human supervision.
- Abstract(参考訳): ノイズ拡散確率モデルは最近、gansのような代替アプローチよりも優れており、現在最先端の生成性能を提供しているため、多くの研究の注目を集めている。
拡散モデルの優れた性能は、インペインティング、スーパーレゾリューション、セマンティクス編集など、いくつかのアプリケーションで魅力的なツールとなっている。
本稿では,拡散モデルがセマンティクスのセグメンテーションの手段として,特にラベル付きデータが不足している場合のセグメンテーションにおいて有効であることを示す。
特に,いくつかの事前学習された拡散モデルについて,逆拡散過程のマルコフステップを実行するネットワークからの中間活性化について検討する。
これらのアクティベーションは、入力画像から意味情報を効果的に捉え、セグメンテーション問題に対する優れた画素レベル表現であることを示す。
これらの観測に基づいて,少数のトレーニング画像が提供されても動作可能な,単純なセグメンテーション手法について述べる。
私たちのアプローチは、同じ量の人間の監督のために、複数のデータセットで既存の代替案を大幅に上回っています。
関連論文リスト
- Diffusion Models Trained with Large Data Are Transferable Visual Models [51.9937114613558]
そこで本研究では,適度な量の目標データを用いて,基本的な視覚知覚タスクにおいて顕著な伝達性能を実現することができることを示す。
結果は、様々なタスクや実世界のデータセットにまたがる拡散モデルのバックボーンの顕著な転送可能性を示している。
論文 参考訳(メタデータ) (2024-03-10T04:23:24Z) - Few-shot Multispectral Segmentation with Representations Generated by
Reinforcement Learning [0.0]
本稿では,強化学習を用いたマルチスペクトル画像における少数ショットセグメンテーション性能向上のための新しい手法を提案する。
我々の手法は、エージェントに最も情報に富んだ表現を識別するよう訓練し、これらの表現を使用してデータセットを更新し、次に更新されたデータセットを使用してセグメンテーションを行う。
我々は,複数のマルチスペクトルデータセットに対するアプローチの有効性を評価し,セグメンテーションアルゴリズムの性能向上にその効果を実証する。
論文 参考訳(メタデータ) (2023-11-20T15:04:16Z) - Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts
in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。
拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文 参考訳(メタデータ) (2023-10-03T17:37:52Z) - SDDM: Score-Decomposed Diffusion Models on Manifolds for Unpaired
Image-to-Image Translation [96.11061713135385]
本研究は,画像生成時の絡み合った分布を明示的に最適化する,新しいスコア分解拡散モデルを提案する。
我々は、スコア関数の精製部分とエネルギー誘導を等しくし、多様体上の多目的最適化を可能にする。
SDDMは既存のSBDMベースの手法よりも優れており、I2Iベンチマークでは拡散ステップがはるかに少ない。
論文 参考訳(メタデータ) (2023-08-04T06:21:57Z) - Prompting Diffusion Representations for Cross-Domain Semantic
Segmentation [101.04326113360342]
拡散事前学習は、セマンティックセグメンテーションのための並外れた領域一般化結果を達成する。
本研究では,シーンプロンプトとプロンプトランダム化戦略を導入し,セグメンテーションヘッドを訓練する際に,ドメイン不変情報をさらに混乱させる。
論文 参考訳(メタデータ) (2023-07-05T09:28:25Z) - Conditional Diffusion Models for Weakly Supervised Medical Image
Segmentation [18.956306942099097]
条件拡散モデル(CDM)は、特定の分布の対象となる画像を生成することができる。
我々は,対象対象物の予測マスクを取得するために,CDMに隠されたカテゴリ認識意味情報を利用する。
本手法は,2つの医用画像セグメンテーションデータセット上で,最先端のCAMおよび拡散モデル法より優れる。
論文 参考訳(メタデータ) (2023-06-06T17:29:26Z) - Denoising Diffusion Semantic Segmentation with Mask Prior Modeling [61.73352242029671]
本稿では,従来の識別的アプローチのセマンティックセグメンテーション品質を,デノナイズ拡散生成モデルでモデル化したマスクを用いて改善することを提案する。
市販セグメンタを用いた先行モデルの評価を行い,ADE20KとCityscapesの実験結果から,本手法が競争力のある定量的性能を実現することを示す。
論文 参考訳(メタデータ) (2023-06-02T17:47:01Z) - Denoising Diffusion Probabilistic Models for Generation of Realistic
Fully-Annotated Microscopy Image Data Sets [1.07539359851877]
本研究では,拡散モデルにより,フルアノテートされた顕微鏡画像データセットを効果的に生成できることを実証する。
提案されたパイプラインは、ディープラーニングベースのセグメンテーションアプローチのトレーニングにおいて、手動アノテーションへの依存を減らすのに役立つ。
論文 参考訳(メタデータ) (2023-01-02T14:17:08Z) - Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文 参考訳(メタデータ) (2022-06-30T18:31:51Z) - Diffusion Models for Implicit Image Segmentation Ensembles [1.444701913511243]
拡散モデルに基づく新しいセマンティックセグメンテーション手法を提案する。
トレーニングとサンプリングの手法を改良することにより,拡散モデルが医用画像の病変分割を行うことができることを示す。
最先端セグメンテーションモデルと比較して,本手法は良好なセグメンテーション結果と有意義な不確実性マップが得られる。
論文 参考訳(メタデータ) (2021-12-06T16:28:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。