論文の概要: Unleashing the Potential of the Diffusion Model in Few-shot Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2410.02369v1
• Date: Tue, 29 Oct 2024 04:21:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 03:40:32.212276
• Title: Unleashing the Potential of the Diffusion Model in Few-shot Semantic Segmentation
• Title（参考訳）: Few-shot Semantic Segmentation における拡散モデルの可能性
• Authors: Muzhi Zhu, Yang Liu, Zekai Luo, Chenchen Jing, Hao Chen, Guangkai Xu, Xinlong Wang, Chunhua Shen,
• Abstract要約: セマンティックはインコンテクストタスクへと発展し、一般化的セグメンテーションモデルを評価する上で重要な要素となった。 我々の最初の焦点は、クエリイメージとサポートイメージの相互作用を容易にする方法を理解することであり、その結果、自己注意フレームワーク内のKV融合法が提案される。 そこで我々はDiffewSというシンプルで効果的なフレームワークを構築し,従来の潜在拡散モデルの生成フレームワークを最大限に保持する。
• 参考スコア（独自算出の注目度）: 56.87049651707208
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The Diffusion Model has not only garnered noteworthy achievements in the realm of image generation but has also demonstrated its potential as an effective pretraining method utilizing unlabeled data. Drawing from the extensive potential unveiled by the Diffusion Model in both semantic correspondence and open vocabulary segmentation, our work initiates an investigation into employing the Latent Diffusion Model for Few-shot Semantic Segmentation. Recently, inspired by the in-context learning ability of large language models, Few-shot Semantic Segmentation has evolved into In-context Segmentation tasks, morphing into a crucial element in assessing generalist segmentation models. In this context, we concentrate on Few-shot Semantic Segmentation, establishing a solid foundation for the future development of a Diffusion-based generalist model for segmentation. Our initial focus lies in understanding how to facilitate interaction between the query image and the support image, resulting in the proposal of a KV fusion method within the self-attention framework. Subsequently, we delve deeper into optimizing the infusion of information from the support mask and simultaneously re-evaluating how to provide reasonable supervision from the query mask. Based on our analysis, we establish a simple and effective framework named DiffewS, maximally retaining the original Latent Diffusion Model's generative framework and effectively utilizing the pre-training prior. Experimental results demonstrate that our method significantly outperforms the previous SOTA models in multiple settings.
• Abstract（参考訳）: Diffusion Modelは、画像生成の領域における注目すべき成果だけでなく、ラベルなしデータを利用した効果的な事前学習手法としての可能性も示している。 セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティックス(英語版)にラテント・ディフュージョン・モデルを用いた研究を開始した。 近年、大規模言語モデルの文脈内学習能力に触発されて、Few-shot Semantic Segmentationはインコンテキストセグメンテーションタスクへと進化し、一般化セグメンテーションモデルを評価する上で重要な要素となった。 この文脈で、我々はFew-shot Semantic Segmentationに集中し、ディフュージョンに基づくセグメンテーションのためのジェネラリストモデルの開発のための確かな基盤を確立する。 我々の最初の焦点は、クエリイメージとサポートイメージの相互作用を容易にする方法を理解することであり、その結果、自己注意フレームワーク内のKV融合法が提案される。 その後、サポートマスクからの情報の注入の最適化と、クエリマスクからの適切な監視方法の再評価について深く検討する。 そこで我々はDiffewSという簡易かつ効果的なフレームワークを構築し,従来の潜在拡散モデルの生成フレームワークを最大限に保持し,事前学習を効果的に活用する。 実験結果から,本手法は従来のSOTAモデルよりも高い性能を示した。

関連論文リスト

• Diffusion Features to Bridge Domain Gap for Semantic Segmentation [2.8616666231199424]
  本稿では, 拡散モデルの特徴を効率的に活用するために, サンプリングおよび融合技術を活用するアプローチについて検討する。 テキスト・画像生成能力の強みを生かして、暗黙的に後部知識を学習する新しいトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-02T15:33:46Z)
• Explore In-Context Segmentation via Latent Diffusion Models [132.26274147026854]
  潜在拡散モデル(LDM)は、文脈内セグメンテーションに有効な最小限のモデルである。 画像とビデオの両方のデータセットを含む、新しい、公正なコンテキスト内セグメンテーションベンチマークを構築します。
  論文  参考訳（メタデータ） (2024-03-14T17:52:31Z)
• Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
  本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。 包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。 有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
  論文  参考訳（メタデータ） (2024-01-29T10:36:57Z)
• JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement [69.6035373784027]
  低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。 従来手法は、タスク固有の条件戦略の十分な定式化の重要性を無視するものであった。 本稿では,Retinex および semantic-based pre-processing condition を付加した新しいアプローチである JoReS-Diff を提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:05:57Z)
• A Critical Look at the Current Usage of Foundation Model for Dense Recognition Task [26.938332354370814]
  膨大なモダリティデータに基づいて訓練された大規模なモデルは、通常基礎モデルと呼ばれ、多くの分野において顕著な達成を達成する。 これらの基盤モデルが他の下流タスクに適用できるかどうかはまだ不明である。
  論文  参考訳（メタデータ） (2023-07-06T08:57:53Z)
• Diffusion Models for Open-Vocabulary Segmentation [79.02153797465324]
  OVDiffは、教師なしオープン語彙セグメンテーションに生成テキストから画像への拡散モデルを利用する新しい手法である。 トレーニング済みのコンポーネントのみに依存し、トレーニングなしで合成セグメンタを直接出力する。
  論文  参考訳（メタデータ） (2023-06-15T17:51:28Z)
• Conditional Diffusion Models for Weakly Supervised Medical Image Segmentation [18.956306942099097]
  条件拡散モデル(CDM)は、特定の分布の対象となる画像を生成することができる。 我々は,対象対象物の予測マスクを取得するために,CDMに隠されたカテゴリ認識意味情報を利用する。 本手法は,2つの医用画像セグメンテーションデータセット上で,最先端のCAMおよび拡散モデル法より優れる。
  論文  参考訳（メタデータ） (2023-06-06T17:29:26Z)
• Denoising Diffusion Semantic Segmentation with Mask Prior Modeling [61.73352242029671]
  本稿では,従来の識別的アプローチのセマンティックセグメンテーション品質を,デノナイズ拡散生成モデルでモデル化したマスクを用いて改善することを提案する。 市販セグメンタを用いた先行モデルの評価を行い,ADE20KとCityscapesの実験結果から,本手法が競争力のある定量的性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-06-02T17:47:01Z)
• Label-Efficient Semantic Segmentation with Diffusion Models [27.01899943738203]
  拡散モデルは意味的セグメンテーションの道具としても機能することを示した。 特に、いくつかの事前訓練拡散モデルに対して、逆拡散過程のマルコフステップを実行するネットワークからの中間活性化について検討する。 これらのアクティベーションは、入力画像から意味情報を効果的にキャプチャし、セグメンテーション問題に対して優れたピクセルレベルの表現であることを示す。
  論文  参考訳（メタデータ） (2021-12-06T15:55:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。