論文の概要: MagicSeg: Open-World Segmentation Pretraining via Counterfactural Diffusion-Based Auto-Generation

• arxiv url: http://arxiv.org/abs/2603.19575v1
• Date: Fri, 20 Mar 2026 02:37:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.947829
• Title: MagicSeg: Open-World Segmentation Pretraining via Counterfactural Diffusion-Based Auto-Generation
• Title（参考訳）: MagicSeg: 異物拡散に基づく自動生成によるオープンワールドセグメンテーション事前トレーニング
• Authors: Kaixin Cai, Pengzhen Ren, Jianhua Han, Yi Zhu, Hang Xu, Jianzhuang Liu, Xiaodan Liang,
• Abstract要約: MagicSeg"は、オープンワールドセマンティックセグメンテーションのニーズに合わせて自動的にデータセットを生成するパイプラインである。 PASCAL VOC, PASCAL Context, COCOを用いて, 62.9%, 26.7%, 40.2%の性能でSOTAを達成した。
• 参考スコア（独自算出の注目度）: 89.19760796832765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-world semantic segmentation presently relies significantly on extensive image-text pair datasets, which often suffer from a lack of fine-grained pixel annotations on sufficient categories. The acquisition of such data is rendered economically prohibitive due to the substantial investments of both human labor and time. In light of the formidable image generation capabilities of diffusion models, we introduce a novel diffusion model-driven pipeline for automatically generating datasets tailored to the needs of open-world semantic segmentation, named "MagicSeg". Our MagicSeg initiates from class labels and proceeds to generate high-fidelity textual descriptions, which in turn serve as guidance for the diffusion model to generate images. Rather than only generating positive samples for each label, our process encompasses the simultaneous generation of corresponding negative images, designed to serve as paired counterfactual samples for contrastive training. Then, to provide a self-supervised signal for open-world segmentation pretraining, our MagicSeg integrates an open-vocabulary detection model and an interactive segmentation model to extract object masks as precise segmentation labels from images based on the provided category labels. By applying our dataset to the contrastive language-image pretraining model with the pseudo mask supervision and the auxiliary counterfactual contrastive training, the downstream model obtains strong performance on open-world semantic segmentation. We evaluate our model on PASCAL VOC, PASCAL Context, and COCO, achieving SOTA with performance of 62.9%, 26.7%, and 40.2%, respectively, demonstrating our dataset's effectiveness in enhancing open-world semantic segmentation capabilities. Project website: https://github.com/ckxhp/magicseg.
• Abstract（参考訳）: オープンワールドセマンティックセグメンテーションは現在、画像とテキストのペアのデータセットに大きく依存している。 このようなデータの取得は、人的労働と時間の双方の実質的な投資によって経済的に禁止される。 拡散モデルの強烈な画像生成能力を考慮して、オープンワールドセマンティックセマンティックセグメンテーションのニーズに合わせて自動でデータセットを生成する拡散モデル駆動パイプライン「MagicSeg」を導入する。 我々のMagicSegは、クラスラベルから開始し、高忠実なテキスト記述を生成する。 各ラベルに対して正のサンプルだけを生成するのではなく、相関学習のための対効果サンプルとして設計された、対応する負のイメージを同時に生成する。 そして、オープンワールドセグメンテーション事前訓練のための自己教師型信号を提供するために、MagicSegはオープンボキャブラリ検出モデルと対話セグメンテーションモデルを統合し、提供されたカテゴリラベルに基づく画像からオブジェクトマスクを正確なセグメンテーションラベルとして抽出する。 擬似マスク監督と補助的対実的コントラスト訓練を併用したコントラッシブ言語画像事前学習モデルにデータセットを適用することにより、ダウンストリームモデルは、オープンワールドセマンティックセマンティックセグメンテーションにおいて強力な性能を得る。 我々はPASCAL VOC, PASCAL Context, COCOを用いて, 62.9%, 26.7%, 40.2%のパフォーマンスでSOTAを達成し, オープンワールドセマンティックセマンティックセマンティクス機能の向上におけるデータセットの有効性を実証した。 プロジェクトウェブサイト: https://github.com/ckxhp/magicseg.com

関連論文リスト

• GS: Generative Segmentation via Label Diffusion [59.380173266566715]
  言語駆動のイメージセグメンテーションは、自然言語表現に対応する画像の領域を分割するモデルを必要とする、視覚言語理解の基本的なタスクである。 近年の拡散モデルがこの領域に導入されているが、既存のアプローチは画像中心のままである。 生成タスクとしてセグメンテーション自体を定式化する新しいフレームワークであるGS(Generative Label)を提案する。 実験の結果,GSは既存の差別的・拡散的手法を著しく上回り,言語駆動セグメンテーションのための新たな最先端技術が確立された。
  論文  参考訳（メタデータ） (2025-08-27T16:28:15Z)
• FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [49.80911683739506]
  我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。 我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。 当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
  論文  参考訳（メタデータ） (2024-03-29T10:38:25Z)
• Dataset Diffusion: Diffusion-based Synthetic Dataset Generation for Pixel-Level Semantic Segmentation [6.82236459614491]
  テキストから画像への生成モデルであるStable Diffusionを用いて,ピクセルレベルのセマンティックセマンティックセマンティクスラベルを生成する手法を提案する。 テキストプロンプト,クロスアテンション,SDの自己アテンションを活用することで,クラスプロンプト付加,クラスプロンプト横断アテンション,自己アテンション指数の3つの新しい手法を導入する。 これらの手法により合成画像に対応するセグメンテーションマップを生成することができる。
  論文  参考訳（メタデータ） (2023-09-25T17:19:26Z)
• Diffusion Model is Secretly a Training-free Open Vocabulary Semantic Segmenter [47.29967666846132]
  生成テキストから画像への拡散モデルは非常に効率的なオープン語彙セマンティックセマンティックセマンティクスである。 我々はDiffSegmenterという新しいトレーニング不要のアプローチを導入し、入力テキストに意味的に忠実な現実的なオブジェクトを生成する。 3つのベンチマークデータセットの大規模な実験により、提案したDiffSegmenterは、オープン語彙セマンティックセマンティックセグメンテーションの印象的な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-06T06:31:08Z)
• MixReorg: Cross-Modal Mixed Patch Reorganization is a Good Mask Learner for Open-World Semantic Segmentation [110.09800389100599]
  セマンティックセグメンテーションのための新鮮で簡単な事前学習パラダイムであるMixReorgを提案する。 我々のアプローチは、パッチとテキストの対応を保ちながら、画像パッチを混合することで、きめ細かいパッチテキストペアデータを生成することである。 マスク学習者としてMixReorgを使用することで、従来のテキスト教師付きセマンティックセマンティックセマンティックモデルは、非常に一般化可能なピクセル・セマンティックアライメントを実現することができる。
  論文  参考訳（メタデータ） (2023-08-09T09:35:16Z)
• Diffusion Models for Open-Vocabulary Segmentation [79.02153797465324]
  OVDiffは、教師なしオープン語彙セグメンテーションに生成テキストから画像への拡散モデルを利用する新しい手法である。 トレーニング済みのコンポーネントのみに依存し、トレーニングなしで合成セグメンタを直接出力する。
  論文  参考訳（メタデータ） (2023-06-15T17:51:28Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。