Fugu-MT 論文翻訳(概要): SeeDiff: Off-the-Shelf Seeded Mask Generation from Diffusion Models

論文の概要: SeeDiff: Off-the-Shelf Seeded Mask Generation from Diffusion Models

arxiv url: http://arxiv.org/abs/2507.19808v1
Date: Sat, 26 Jul 2025 05:44:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-29 16:23:56.26829
Title: SeeDiff: Off-the-Shelf Seeded Mask Generation from Diffusion Models
Title（参考訳）: SeeDiff:拡散モデルによるオフザシェルフ種子マスク生成
Authors: Joon Hyun Park, Kumju Jo, Sungyong Baik,
Abstract要約: 我々は,クロスアテンションだけで非常に粗い物体の局在が得られ,初期種子が得られることを示した。また、単純なテキスト誘導合成画像は、一様背景を持つことが多く、対応を見つけるのが容易であることも観察した。提案手法はSeeDiffと呼ばれ,Stable Diffusionから高品質なマスクをオフザシェルフで生成する。
参考スコア（独自算出の注目度）: 6.0870128457015715
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Entrusted with the goal of pixel-level object classification, the semantic segmentation networks entail the laborious preparation of pixel-level annotation masks. To obtain pixel-level annotation masks for a given class without human efforts, recent few works have proposed to generate pairs of images and annotation masks by employing image and text relationships modeled by text-to-image generative models, especially Stable Diffusion. However, these works do not fully exploit the capability of text-guided Diffusion models and thus require a pre-trained segmentation network, careful text prompt tuning, or the training of a segmentation network to generate final annotation masks. In this work, we take a closer look at attention mechanisms of Stable Diffusion, from which we draw connections with classical seeded segmentation approaches. In particular, we show that cross-attention alone provides very coarse object localization, which however can provide initial seeds. Then, akin to region expansion in seeded segmentation, we utilize the semantic-correspondence-modeling capability of self-attention to iteratively spread the attention to the whole class from the seeds using multi-scale self-attention maps. We also observe that a simple-text-guided synthetic image often has a uniform background, which is easier to find correspondences, compared to complex-structured objects. Thus, we further refine a mask using a more accurate background mask. Our proposed method, dubbed SeeDiff, generates high-quality masks off-the-shelf from Stable Diffusion, without additional training procedure, prompt tuning, or a pre-trained segmentation network.
Abstract（参考訳）: セマンティックセグメンテーションネットワークは、ピクセルレベルのオブジェクト分類の目的を頼りに、ピクセルレベルのアノテーションマスクを精巧に準備する。テキスト・ツー・イメージ生成モデル,特に安定拡散モデルによってモデル化された画像とテキストの関係を利用して,画像とアノテーションマスクのペアを生成する方法が近年提案されている。しかし、これらの研究はテキスト誘導拡散モデルの能力を十分に活用していないため、トレーニング済みのセグメンテーションネットワーク、注意深いテキストプロンプトチューニング、最終的なアノテーションマスクを生成するためのセグメンテーションネットワークのトレーニングが必要である。本研究では、安定拡散の注意機構を詳しく調べ、古典的なシードセグメンテーション手法と接続する。特に,クロスアテンションだけで非常に粗い物体の局在が得られ,初期種子が得られていることを示す。そこで, シードセグメンテーションにおける領域拡大と異なり, 多スケールの自己アテンションマップを用いて, 種子からクラス全体の注意を反復的に拡散する自己アテンションのセマンティック・対応・モデリング機能を利用する。また、単純なテキスト誘導合成画像は、複雑な構造化オブジェクトに比べて、対応を見つけるのが容易な均一な背景を持つことが多いことを観察した。これにより、より正確な背景マスクを用いてマスクをさらに洗練する。提案手法はSeeDiffと呼ばれ,Stable Diffusionから高品質なマスクを生成する。

関連論文リスト

Open-Vocabulary Attention Maps with Token Optimization for Semantic Segmentation in Diffusion Models [1.6450779686641077]
OVAM(Open-Vocabulary Attention Maps)は,テキスト・画像拡散モデルのためのトレーニング不要な手法である。既存の安定拡散拡張の中でこれらのトークンを評価する。
論文参考訳（メタデータ） (2024-03-21T10:56:12Z)
Outline-Guided Object Inpainting with Diffusion Models [11.391452115311798]
インスタンスセグメンテーションデータセットは、正確で堅牢なコンピュータビジョンモデルのトレーニングにおいて重要な役割を果たす。この問題は、小さなアノテーション付きインスタンスセグメンテーションデータセットから始めて、拡張して、サイズが拡大されたアノテーション付きデータセットを取得することで緩和できることを示す。オブジェクトアウトラインの拡散を導くことで,対象クラスでマスク領域を埋めるために,拡散ベースの塗装モデルを用いて新しい画像を生成する。
論文参考訳（メタデータ） (2024-02-26T09:21:17Z)
Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。 ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
論文参考訳（メタデータ） (2024-02-14T06:01:44Z)
A Simple Latent Diffusion Approach for Panoptic Segmentation and Mask Inpainting [2.7563282688229664]
この研究は安定拡散の上に構築され、汎視的セグメンテーションに対する潜時拡散アプローチを提案する。トレーニングは,(1)部分分割マスクを潜伏空間に投影する浅層オートエンコーダの訓練,(2)潜伏空間における画像条件付きサンプリングを可能にする拡散モデルの訓練,の2段階からなる。
論文参考訳（メタデータ） (2024-01-18T18:59:19Z)
MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
論文参考訳（メタデータ） (2023-09-08T15:53:37Z)
Exploring Limits of Diffusion-Synthetic Training with Weakly Supervised Semantic Segmentation [16.863038973001483]
本研究は拡散合成セマンティックセマンティックセグメンテーショントレーニングの3つの手法を紹介する。第一に、信頼性に配慮した堅牢なトレーニングは、もともと弱い教師付き学習で用いられ、合成マスクの品質が不十分なセグメンテーションに役立つ。第2に、画像Net-1kクラスの画像にバックボーンだけでなく、全体セグメンテーションモデルの大規模事前トレーニングを行うことで、下流のセグメンテーションタスクにメリットがある。第3に,テキストリソースの制限により,トレーニング画像のスケールアップと多様化を図るために,プロンプトテキストセットにプロンプト拡張,データ拡張を導入する。
論文参考訳（メタデータ） (2023-09-04T05:34:19Z)
DiffuMask: Synthesizing Images with Pixel-level Annotations for Semantic Segmentation Using Diffusion Models [68.21154597227165]
本研究では,オフザシェルフ安定拡散モデルにより生成された合成画像の正確なセマンティックマスクを自動で取得できることを示す。我々のアプローチはDiffuMaskと呼ばれ、テキストと画像間の相互注意マップの可能性を利用しています。
論文参考訳（メタデータ） (2023-03-21T08:43:15Z)
Foreground-Background Separation through Concept Distillation from Generative Image Foundation Models [6.408114351192012]
本稿では, 簡単なテキスト記述から, 一般的な前景-背景セグメンテーションモデルの生成を可能にする新しい手法を提案する。本研究では,4つの異なる物体(人間,犬,車,鳥)を分割する作業と,医療画像解析におけるユースケースシナリオについて述べる。
論文参考訳（メタデータ） (2022-12-29T13:51:54Z)
Differentiable Soft-Masked Attention [115.5770357189209]
Weakly Supervised Video Objectのタスクには,「識別可能なソフトマッシュアップ注意」が使用されている。我々は、トランスフォーマーベースのトレーニングネットワークを開発したが、1つのアノテートフレームだけで、ビデオ上でのサイクル一貫性トレーニングの恩恵を受けることができる。
論文参考訳（メタデータ） (2022-06-01T02:05:13Z)
What You See is What You Classify: Black Box Attributions [61.998683569022006]
我々は、トレーニング済みのブラックボックス分類器であるExpplanandumの属性を予測するために、ディープネットワークであるExplainerを訓練する。既存のほとんどのアプローチとは異なり、我々の手法はクラス固有のマスクを直接生成することができる。我々の属性は、視覚的および定量的に確立された方法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-05-23T12:30:04Z)
GANSeg: Learning to Segment by Unsupervised Hierarchical Image Generation [16.900404701997502]
本稿では,潜伏マスクに条件付き画像を生成するGANベースのアプローチを提案する。このようなマスク条件の画像生成は、マスクを階層的に条件付ける際に忠実に学習できることを示す。また、セグメンテーションネットワークをトレーニングするためのイメージマスクペアの生成も可能で、既存のベンチマークでは、最先端の教師なしセグメンテーションメソッドよりも優れています。
論文参考訳（メタデータ） (2021-12-02T07:57:56Z)
Open-Vocabulary Instance Segmentation via Robust Cross-Modal Pseudo-Labeling [61.03262873980619]
Open-vocabularyのインスタンスセグメンテーションは、マスクアノテーションなしで新しいクラスをセグメンテーションすることを目的としている。本研究では,字幕内の単語の意味を画像中のオブジェクトマスクの視覚的特徴と整合させることで,擬似マスクの訓練を行うクロスモーダルな擬似ラベルフレームワークを提案する。我々のフレームワークは、生徒の自己学習のための単語意味論を通じて、キャプションに新しいクラスをラベル付けすることができる。
論文参考訳（メタデータ） (2021-11-24T18:50:47Z)
Few-shot Semantic Image Synthesis Using StyleGAN Prior [8.528384027684192]
本稿では,STYPEGANを用いたセマンティックマスクの擬似ラベリングを行うトレーニング戦略を提案する。私たちの重要なアイデアは、semantic masksの例から、スタイルガン機能と各セマンティッククラスの単純なマッピングを構築することです。擬似セマンティックマスクは、ピクセル整列マスクを必要とする従来のアプローチでは粗いかもしれないが、我々のフレームワークは、濃密なセマンティックマスクだけでなく、ランドマークやスクリブルのようなスパース入力から高品質な画像を合成することができる。
論文参考訳（メタデータ） (2021-03-27T11:04:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。