論文の概要: CorrCLIP: Reconstructing Correlations in CLIP with Off-the-Shelf Foundation Models for Open-Vocabulary Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2411.10086v1
• Date: Fri, 15 Nov 2024 10:14:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:48.014927
• Title: CorrCLIP: Reconstructing Correlations in CLIP with Off-the-Shelf Foundation Models for Open-Vocabulary Semantic Segmentation
• Title（参考訳）: CorrCLIP: オープン語彙セマンティックセマンティックセグメンテーションのためのCLIPとオフザシェルファウンデーションモデルとの相関の再構築
• Authors: Dengke Zhang, Fagui Liu, Quan Tang,
• Abstract要約: オープン語彙セマンティックセグメンテーションのためのトレーニング不要なアプローチであるCorrCLIPを紹介する。 基礎モデルを用いたパッチ間の相関関係を著しく再構築する。 トレーニングフリーの方法として、CorrCLIPは8つの挑戦的なベンチマークで顕著な改善を実現している。
• 参考スコア（独自算出の注目度）: 6.356330972370584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary semantic segmentation aims to assign semantic labels to each pixel without relying on a predefined set of categories. Contrastive Language-Image Pre-training (CLIP) demonstrates outstanding zero-shot classification capabilities but struggles with the pixel-wise segmentation task as the captured inter-patch correlations correspond to no specific visual concepts. Despite previous CLIP-based works improving inter-patch correlations by self-self attention, they still face the inherent limitation that image patches tend to have high similarity to outlier ones. In this work, we introduce CorrCLIP, a training-free approach for open-vocabulary semantic segmentation, which reconstructs significantly coherent inter-patch correlations utilizing foundation models. Specifically, it employs the Segment Anything Model (SAM) to define the scope of patch interactions, ensuring that patches interact only with semantically similar ones. Furthermore, CorrCLIP obtains an understanding of an image's semantic layout via self-supervised models to determine concrete similarity values between image patches, which addresses the similarity irregularity problem caused by the aforementioned restricted patch interaction regime. Finally, CorrCLIP reuses the region masks produced by SAM to update the segmentation map. As a training-free method, CorrCLIP achieves a notable improvement across eight challenging benchmarks regarding the averaged mean Intersection over Union, boosting it from 44.4% to 51.0%.
• Abstract（参考訳）: Open-vocabulary semantic segmentationは、定義済みのカテゴリセットに頼ることなく、各ピクセルにセマンティックラベルを割り当てることを目的としている。 Contrastive Language-Image Pre-Training (CLIP) は、ゼロショット分類の優れた能力を示すが、キャプチャされたパッチ間の相関が特定の視覚概念に対応していないため、ピクセル単位のセグメンテーションタスクに苦労する。 以前のCLIPベースの作業では、自己の注意によるパッチ間の相関を改善していたが、イメージパッチがオフリーとの類似性が高いという固有の制限に直面している。 本研究では,オープン語彙セマンティックセグメンテーションのための学習自由アプローチであるCorrCLIPを紹介する。 具体的には、Segment Anything Model(SAM)を使用してパッチインタラクションのスコープを定義し、パッチがセマンティックに類似するもののみと相互作用することを保証する。 さらに、CorrCLIPは自己教師付きモデルを用いて画像のセマンティックレイアウトの理解を得て、上記の制限されたパッチ間相互作用によって生じる類似性の不規則性問題に対処するイメージパッチ間の具体的な類似性値を決定する。 最後に、CorrCLIPはSAMによって生成されたリージョンマスクを再利用してセグメンテーションマップを更新する。 トレーニングなしの方法として、CorrCLIPは、ユニオン平均のインターセクションに関する8つの挑戦的なベンチマークで顕著な改善を達成し、44.4%から51.0%に向上した。

関連論文リスト

• Seeing What Matters: Empowering CLIP with Patch Generation-to-Selection [54.21851618853518]
  本稿では,CLIPのトレーニング効率を高めるために,パッチ生成と選択という簡潔で効果的なアプローチを提案する。 私たちのアプローチであるCLIP-PGSは、ゼロショット分類と検索タスクにおいて、新しい最先端結果を設定する。
  論文  参考訳（メタデータ） (2025-03-21T12:10:38Z)
• ClearCLIP: Decomposing CLIP Representations for Dense Vision-Language Inference [32.852004564832455]
  我々はCLIPのアーキテクチャを再検討し、残余接続をセグメンテーション品質を劣化させるノイズの主源として同定する。 オープン語彙セマンティックセグメンテーションを強化するためにCLIPの表現を分解する新しいアプローチであるClearCLIPを提案する。
  論文  参考訳（メタデータ） (2024-07-17T09:52:20Z)
• Semantic Compositions Enhance Vision-Language Contrastive Learning [46.985865191341944]
  CLIPのようなモデルのゼロショット分類と検索能力は、事前学習中に意味論的に複合的な例を導入することで大幅に向上できることを示す。 本手法はキャプションを融合させ,各画像の50%をブレンドして新しい複合試料を作成する。 CLIP-Cの利点は、特に比較的限られた事前学習データを持つ設定で顕著である。
  論文  参考訳（メタデータ） (2024-07-01T15:58:20Z)
• SemPLeS: Semantic Prompt Learning for Weakly-Supervised Semantic Segmentation [36.41778553250247]
  Weakly-Supervised Semantic (WSSS) は、画像レベルの監督のみで画像データを用いてセグメンテーションモデルを訓練することを目的としている。 本稿では,CLIP潜伏空間を効果的に促進するためのWSSS(Semantic Prompt Learning for WSSS)フレームワークを提案する。 SemPLeSはオブジェクト領域と関連するクラスラベル間のセマンティックアライメントを改善することができる。
  論文  参考訳（メタデータ） (2024-01-22T09:41:05Z)
• MixReorg: Cross-Modal Mixed Patch Reorganization is a Good Mask Learner for Open-World Semantic Segmentation [110.09800389100599]
  セマンティックセグメンテーションのための新鮮で簡単な事前学習パラダイムであるMixReorgを提案する。 我々のアプローチは、パッチとテキストの対応を保ちながら、画像パッチを混合することで、きめ細かいパッチテキストペアデータを生成することである。 マスク学習者としてMixReorgを使用することで、従来のテキスト教師付きセマンティックセマンティックセマンティックモデルは、非常に一般化可能なピクセル・セマンティックアライメントを実現することができる。
  論文  参考訳（メタデータ） (2023-08-09T09:35:16Z)
• CorrMatch: Label Propagation via Correlation Matching for Semi-Supervised Semantic Segmentation [73.89509052503222]
  本稿では、CorrMatchと呼ばれる、単純だが実行可能な半教師付きセマンティックセマンティックセマンティックセマンティクス手法を提案する。 相関写像は、同一カテゴリのクラスタリングピクセルを容易に実現できるだけでなく、良好な形状情報も含んでいることを観察する。 我々は,高信頼画素を拡大し,さらに掘り出すために,画素の対の類似性をモデル化して画素伝搬を行う。 そして、相関地図から抽出した正確なクラス非依存マスクを用いて、領域伝搬を行い、擬似ラベルを強化する。
  論文  参考訳（メタデータ） (2023-06-07T10:02:29Z)
• FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced Context-Aware Network [48.912196729711624]
  Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。 本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。 さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
  論文  参考訳（メタデータ） (2023-01-19T16:31:13Z)
• Open Vocabulary Semantic Segmentation with Patch Aligned Contrastive Learning [82.70453633641466]
  Patch Aligned Contrastive Learning (PACL)を導入する。 PACLは画像レベルの予測にも適用可能であることを示し、CLIPバックボーンで使用すると、ゼロショット分類精度が全般的に向上することを示した。
  論文  参考訳（メタデータ） (2022-12-09T17:23:00Z)
• A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model [61.58071099082296]
  オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。 本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。 実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-29T18:56:18Z)
• Causal Intervention for Weakly-Supervised Semantic Segmentation [122.1846968696862]
  画像レベルのラベルのみを用いて、より優れたピクセルレベルの擬似マスクを生成することを目指している。 画像,コンテキスト,およびクラスラベル間の因果関係を分析するための構造因果モデルを提案する。 そこで本研究では,画像レベルの分類において,矛盾するバイアスを取り除くためのコンテキスト調整(CONTA)手法を提案する。
  論文  参考訳（メタデータ） (2020-09-26T09:26:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。