論文の概要: GS: Generative Segmentation via Label Diffusion

• arxiv url: http://arxiv.org/abs/2508.20020v1
• Date: Wed, 27 Aug 2025 16:28:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.701445
• Title: GS: Generative Segmentation via Label Diffusion
• Title（参考訳）: GS:ラベル拡散による生成セグメンテーション
• Authors: Yuhao Chen, Shubin Chen, Liang Lin, Guangrun Wang,
• Abstract要約: 言語駆動のイメージセグメンテーションは、自然言語表現に対応する画像の領域を分割するモデルを必要とする、視覚言語理解の基本的なタスクである。 近年の拡散モデルがこの領域に導入されているが、既存のアプローチは画像中心のままである。 生成タスクとしてセグメンテーション自体を定式化する新しいフレームワークであるGS(Generative Label)を提案する。 実験の結果,GSは既存の差別的・拡散的手法を著しく上回り,言語駆動セグメンテーションのための新たな最先端技術が確立された。
• 参考スコア（独自算出の注目度）: 59.380173266566715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language-driven image segmentation is a fundamental task in vision-language understanding, requiring models to segment regions of an image corresponding to natural language expressions. Traditional methods approach this as a discriminative problem, assigning each pixel to foreground or background based on semantic alignment. Recently, diffusion models have been introduced to this domain, but existing approaches remain image-centric: they either (i) use image diffusion models as visual feature extractors, (ii) synthesize segmentation data via image generation to train discriminative models, or (iii) perform diffusion inversion to extract attention cues from pre-trained image diffusion models-thereby treating segmentation as an auxiliary process. In this paper, we propose GS (Generative Segmentation), a novel framework that formulates segmentation itself as a generative task via label diffusion. Instead of generating images conditioned on label maps and text, GS reverses the generative process: it directly generates segmentation masks from noise, conditioned on both the input image and the accompanying language description. This paradigm makes label generation the primary modeling target, enabling end-to-end training with explicit control over spatial and semantic fidelity. To demonstrate the effectiveness of our approach, we evaluate GS on Panoptic Narrative Grounding (PNG), a representative and challenging benchmark for multimodal segmentation that requires panoptic-level reasoning guided by narrative captions. Experimental results show that GS significantly outperforms existing discriminative and diffusion-based methods, setting a new state-of-the-art for language-driven segmentation.
• Abstract（参考訳）: 言語駆動のイメージセグメンテーションは、自然言語表現に対応する画像の領域を分割するモデルを必要とする、視覚言語理解の基本的なタスクである。 従来の手法では、各ピクセルを前景や背景にセマンティックアライメントに基づいて割り当て、識別的な問題としてアプローチしている。 近年、拡散モデルがこの領域に導入されているが、既存のアプローチは画像中心のままである。 一 画像拡散モデルを視覚特徴抽出装置として用いること。 二 画像生成によるセグメンテーションデータを合成して識別モデルを訓練すること。 三 予め訓練した画像拡散モデルから注意手がかりを抽出するために拡散インバージョンを行い、セグメンテーションを補助的な処理として扱う。 本稿では,ラベル拡散による生成タスクとしてセグメンテーション自体を定式化する新しいフレームワークであるGS(Generative Segmentation)を提案する。 GSはラベルマップやテキストで条件付けされた画像を生成する代わりに、生成プロセスを逆転させ、入力された画像と付随する言語記述の両方に条件付けされたノイズから直接セグメンテーションマスクを生成する。 このパラダイムはラベル生成を主要なモデリングターゲットとし、空間的および意味的忠実性に対する明示的な制御によるエンドツーエンドのトレーニングを可能にする。 提案手法の有効性を実証するために,我々は,多モーダルセグメンテーションのための代表的かつ挑戦的なベンチマークであるPNG(Panoptic Narrative Grounding)のGSを評価した。 実験の結果,GSは既存の差別的・拡散的手法を著しく上回り,言語駆動セグメンテーションのための新たな最先端技術が確立された。

関連論文リスト

• EmerDiff: Emerging Pixel-level Semantic Knowledge in Diffusion Models [52.3015009878545]
  我々は、追加の訓練をすることなく、きめ細かなセグメンテーションマップを生成できる画像セグメンタを開発した。 低次元特徴写像の空間的位置と画像画素間の意味的対応を同定する。 大規模な実験では、生成したセグメンテーションマップがよく説明され、画像の細部を捉えることが示されている。
  論文  参考訳（メタデータ） (2024-01-22T07:34:06Z)
• Diffusion Model is Secretly a Training-free Open Vocabulary Semantic Segmenter [47.29967666846132]
  生成テキストから画像への拡散モデルは非常に効率的なオープン語彙セマンティックセマンティックセマンティクスである。 我々はDiffSegmenterという新しいトレーニング不要のアプローチを導入し、入力テキストに意味的に忠実な現実的なオブジェクトを生成する。 3つのベンチマークデータセットの大規模な実験により、提案したDiffSegmenterは、オープン語彙セマンティックセマンティックセグメンテーションの印象的な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-06T06:31:08Z)
• Diffusion Models for Open-Vocabulary Segmentation [79.02153797465324]
  OVDiffは、教師なしオープン語彙セグメンテーションに生成テキストから画像への拡散モデルを利用する新しい手法である。 トレーニング済みのコンポーネントのみに依存し、トレーニングなしで合成セグメンタを直接出力する。
  論文  参考訳（メタデータ） (2023-06-15T17:51:28Z)
• Stochastic Segmentation with Conditional Categorical Diffusion Models [3.8168879948759953]
  Denoising Diffusion Probabilistic Models に基づくセマンティックセグメンテーションのための条件カテゴリー拡散モデル(CCDM)を提案する。 以上の結果から,CCDMはLIDC上での最先端性能を実現し,従来のセグメンテーションデータセットであるCityscapesのベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-03-15T19:16:47Z)
• Semantic Image Synthesis via Diffusion Models [174.24523061460704]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。 意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Weakly-supervised segmentation of referring expressions [81.73850439141374]
  テキスト基底セマンティックSEGmentationは、ピクセルレベルのアノテーションなしで画像レベルの参照式から直接セグメンテーションマスクを学習する。 提案手法は,PhraseCutおよびRefCOCOデータセット上での表現セグメンテーションを弱教師付きで参照する際の有望な結果を示す。
  論文  参考訳（メタデータ） (2022-05-10T07:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。