論文の概要: DiCLIP: Diffusion Model Enhances CLIP's Dense Knowledge for Weakly Supervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2605.04593v1
• Date: Wed, 06 May 2026 07:41:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.7053
• Title: DiCLIP: Diffusion Model Enhances CLIP's Dense Knowledge for Weakly Supervised Semantic Segmentation
• Title（参考訳）: DiCLIP:Diffusion ModelはCLIPの微妙なセマンティックセグメンテーションの知識を高める
• Abstract要約: 画像レベルのラベルを持つ弱スーパービジョンセマンティック(WSSS)は、通常、ピクセルレベルの予測を達成するためにクラスアクティベーションマップ(CAM)を利用する。 近年,WSSS で CAM を生成するために,CLIP (Contrastive Language- Image Pre-training) が導入されている。 生成拡散モデルを利用した新しいWSSSフレームワークであるDiCLIPを提案し、CLIPの高密度な知識を2つのモードで強化する。
• 参考スコア（独自算出の注目度）: 22.284899154917884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weakly Supervised Semantic Segmentation (WSSS) with image-level labels typically leverages Class Activation Maps (CAMs) to achieve pixel-level predictions. Recently, Contrastive Language-Image Pre-training (CLIP) has been introduced to generate CAMs in WSSS. However, previous WSSS methods solely adopt CLIP's vision-language paired property for dense localization, neglecting its inherently limited dense knowledge across both visual and text modalities, which renders CAM generation suboptimal. In this work, we propose DiCLIP, a novel WSSS framework that leverages the generative diffusion model to enhance CLIP's dense knowledge across two modalities. Specifically, Visual Correlation Enhancement (VCE) and Text Semantic Augmentation (TSA) modules are proposed for dense prediction enhancement. To improve the spatial awareness of visual features, our VCE module utilizes diffusion's reliable spatial consistency to mitigate the over-smoothing issue in CLIP's attention. It designs the Attention Clustering Refinement (ACR) module to reliably extract diverse correlation maps from the diffusion model. The correlation maps act as a diversity bias for CLIP's self-attention, recursively pushing its visual features towards a more discriminative dense distribution. To augment the semantics of text embeddings, our TSA module argues that a single text modality is insufficient to encompass the variability of visual categories. Thus, we leverage diffusion's generative power to maintain a dynamic key-value cache model, shifting CAM generation from a patch-text matching mechanism to a novel visual knowledge retrieval paradigm. With these enhancements, DiCLIP not only outperforms state-of-the-art methods on PASCAL VOC and MS COCO but also significantly reduces training costs. Code is publicly available at https://github.com/zwyang6/DiCLIP.
• Abstract（参考訳）: 画像レベルのラベルを持つ弱監視セマンティックセグメンテーション(WSSS)は、通常、ピクセルレベルの予測を達成するためにクラスアクティベーションマップ(CAM)を利用する。 近年,WSSSでCAMを生成するためにCLIP(Contrastive Language- Image Pre-Training)が導入されている。 しかし、従来のWSSSメソッドは、CLIPの視覚言語対のプロパティを濃密なローカライズのためにのみ採用しており、視覚的およびテキスト的モダリティの両方にわたって本質的に制限された密な知識を無視している。 そこで本研究では,CLIPの高密度な知識を2つのモードで拡張するために,生成拡散モデルを活用する新しいWSSSフレームワークであるDiCLIPを提案する。 具体的には、高密度な予測強調のために、視覚相関強化(VCE)とテキストセマンティック拡張(TSA)モジュールを提案する。 視覚的特徴の空間的認識を改善するため,我々のVCEモジュールは拡散の信頼性の高い空間的整合性を利用して,CLIPの注意の過度な問題を軽減する。 ACRモジュールを設計し、拡散モデルから多様な相関写像を確実に抽出する。 相関地図は、CLIPの自己注意の多様性バイアスとして機能し、視覚的特徴をより差別的な密度分布へと再帰的に押し付けている。 テキスト埋め込みのセマンティクスを強化するため、我々のTSAモジュールは、単一のテキストモダリティが視覚カテゴリーの多様性を包含するには不十分であると主張している。 そこで我々は,拡散の生成力を活用して動的キー値キャッシュモデルを維持することにより,CAM生成をパッチテキストマッチング機構から新しい視覚知識検索パラダイムに移行する。 これらの拡張により、DiCLIPはPASCAL VOCやMS COCOで最先端の手法を上回るだけでなく、トレーニングコストを大幅に削減する。 コードはhttps://github.com/zwyang6/DiCLIPで公開されている。

関連論文リスト

• PCA-Seg: Revisiting Cost Aggregation for Open-Vocabulary Semantic and Part Segmentation [58.1914505657064]
  本稿では,クラスレベルのセマンティクスと空間コンテキスト間の知識干渉の課題を軽減するために,単純な並列コストアグリゲーション(PCA-Seg)パラダイムを提案する。 8つのベンチマークの実験では、PCA-Segの各並列ブロックは0.35万のパラメータしか追加せず、最先端のOSPS性能を実現している。
  論文  参考訳（メタデータ） (2026-03-18T09:26:43Z)
• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• DeCLIP: Decoupled Learning for Open-Vocabulary Dense Perception [21.87721909270275]
  DeCLIPはCLIPをコンテンツとコンテキストの機能で強化する新しいフレームワークである。 複数の開語彙密接な予測タスクで既存の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2025-05-07T13:46:34Z)
• Refining CLIP's Spatial Awareness: A Visual-Centric Perspective [10.936397225984107]
  コントラスト言語-画像 事前学習は、言語とのグローバルな整合性が優れているが、空間情報に対する感度は限られている。 最近のアプローチでは、高密度マルチモーダルタスクにおけるCLIPの性能を高めるために、Rerea-Language Alignmentを導入している。 本稿では,CLIP固有の空間構造を保存し,上記の劣化を緩和する空間相関蒸留(SCD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T07:04:56Z)
• Exploring CLIP's Dense Knowledge for Weakly Supervised Semantic Segmentation [19.26516470653798]
  画像レベルラベル付き弱スーパービジョンセマンティック(WSSS)は、クラスマップ(CAM)を用いた画素レベルの予測を実現することを目的としている。 最近の手法は主にCAM生成のための画像テキストアライメントに重点を置いているが、パッチテキストアライメントにおけるCLIPの可能性はいまだ解明されていない。 我々は,WSSS のパッチテキストアライメントパラダイムを通じて,CLIP の密集した知識を探索する ExCEL を提案する。
  論文  参考訳（メタデータ） (2025-03-26T02:00:49Z)
• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• ResCLIP: Residual Attention for Training-free Dense Vision-language Inference [27.551367463011008]
  CLIPの非最終層における自己注意の相互相関も局在特性を示す。 本稿では, 中間層からの相互相関自己アテンションを利用して, 最終ブロックの注意を再認識するResidual Cross-correlation Self-attention (RCS) モジュールを提案する。 RCSモジュールは空間情報を効果的に再構成し、高密度視覚言語推論のためのCLIP内の局在電位を解放する。
  論文  参考訳（メタデータ） (2024-11-24T14:14:14Z)
• Enhancing Few-shot CLIP with Semantic-Aware Fine-Tuning [61.902254546858465]
  Contrastive Language-Image Pre-Trainingに基づく手法は、数発の適応タスクで有望な性能を示した。 本稿では,タスク固有のセマンティクスに焦点を合わせるために,トレーニングプロセス中にアテンションプーリング層のパラメータを微調整することを提案する。
  論文  参考訳（メタデータ） (2023-11-08T05:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。