論文の概要: CorrCLIP: Reconstructing Correlations in CLIP with Off-the-Shelf Foundation Models for Open-Vocabulary Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2411.10086v1
• Date: Fri, 15 Nov 2024 10:14:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:48.014927
• Title: CorrCLIP: Reconstructing Correlations in CLIP with Off-the-Shelf Foundation Models for Open-Vocabulary Semantic Segmentation
• Title（参考訳）: CorrCLIP: オープン語彙セマンティックセマンティックセグメンテーションのためのCLIPとオフザシェルファウンデーションモデルとの相関の再構築
• Authors: Dengke Zhang, Fagui Liu, Quan Tang,
• Abstract要約: オープン語彙セマンティックセグメンテーションのためのトレーニング不要なアプローチであるCorrCLIPを紹介する。 基礎モデルを用いたパッチ間の相関関係を著しく再構築する。 トレーニングフリーの方法として、CorrCLIPは8つの挑戦的なベンチマークで顕著な改善を実現している。
• 参考スコア（独自算出の注目度）: 6.356330972370584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary semantic segmentation aims to assign semantic labels to each pixel without relying on a predefined set of categories. Contrastive Language-Image Pre-training (CLIP) demonstrates outstanding zero-shot classification capabilities but struggles with the pixel-wise segmentation task as the captured inter-patch correlations correspond to no specific visual concepts. Despite previous CLIP-based works improving inter-patch correlations by self-self attention, they still face the inherent limitation that image patches tend to have high similarity to outlier ones. In this work, we introduce CorrCLIP, a training-free approach for open-vocabulary semantic segmentation, which reconstructs significantly coherent inter-patch correlations utilizing foundation models. Specifically, it employs the Segment Anything Model (SAM) to define the scope of patch interactions, ensuring that patches interact only with semantically similar ones. Furthermore, CorrCLIP obtains an understanding of an image's semantic layout via self-supervised models to determine concrete similarity values between image patches, which addresses the similarity irregularity problem caused by the aforementioned restricted patch interaction regime. Finally, CorrCLIP reuses the region masks produced by SAM to update the segmentation map. As a training-free method, CorrCLIP achieves a notable improvement across eight challenging benchmarks regarding the averaged mean Intersection over Union, boosting it from 44.4% to 51.0%.
• Abstract（参考訳）: Open-vocabulary semantic segmentationは、定義済みのカテゴリセットに頼ることなく、各ピクセルにセマンティックラベルを割り当てることを目的としている。 Contrastive Language-Image Pre-Training (CLIP) は、ゼロショット分類の優れた能力を示すが、キャプチャされたパッチ間の相関が特定の視覚概念に対応していないため、ピクセル単位のセグメンテーションタスクに苦労する。 以前のCLIPベースの作業では、自己の注意によるパッチ間の相関を改善していたが、イメージパッチがオフリーとの類似性が高いという固有の制限に直面している。 本研究では,オープン語彙セマンティックセグメンテーションのための学習自由アプローチであるCorrCLIPを紹介する。 具体的には、Segment Anything Model(SAM)を使用してパッチインタラクションのスコープを定義し、パッチがセマンティックに類似するもののみと相互作用することを保証する。 さらに、CorrCLIPは自己教師付きモデルを用いて画像のセマンティックレイアウトの理解を得て、上記の制限されたパッチ間相互作用によって生じる類似性の不規則性問題に対処するイメージパッチ間の具体的な類似性値を決定する。 最後に、CorrCLIPはSAMによって生成されたリージョンマスクを再利用してセグメンテーションマップを更新する。 トレーニングなしの方法として、CorrCLIPは、ユニオン平均のインターセクションに関する8つの挑戦的なベンチマークで顕著な改善を達成し、44.4%から51.0%に向上した。

関連論文リスト

• Seeing What Matters: Empowering CLIP with Patch Generation-to-Selection [54.21851618853518]
  本稿では,CLIPのトレーニング効率を高めるために,パッチ生成と選択という簡潔で効果的なアプローチを提案する。 私たちのアプローチであるCLIP-PGSは、ゼロショット分類と検索タスクにおいて、新しい最先端結果を設定する。
  論文  参考訳（メタデータ） (2025-03-21T12:10:38Z)
• Is CLIP ideal? No. Can we fix it? Yes! [30.71718499767702]
  Contrastive Language-Image Pre-Trainingは、よく組織化されたセマンティクスでマルチモーダルな潜在空間を学習する一般的な方法である。 広い範囲のアプリケーションにもかかわらず、CLIPの潜伏空間は複雑な視覚とテキストの相互作用を扱うのに失敗することが知られている。 本稿では,CLIP様モデルの原理的,解釈可能な評価法として,コサイン類似度マップ(DCSM)を提案する。
  論文  参考訳（メタデータ） (2025-03-10T23:42:04Z)
• ClearCLIP: Decomposing CLIP Representations for Dense Vision-Language Inference [32.852004564832455]
  我々はCLIPのアーキテクチャを再検討し、残余接続をセグメンテーション品質を劣化させるノイズの主源として同定する。 オープン語彙セマンティックセグメンテーションを強化するためにCLIPの表現を分解する新しいアプローチであるClearCLIPを提案する。
  論文  参考訳（メタデータ） (2024-07-17T09:52:20Z)
• Semantic Compositions Enhance Vision-Language Contrastive Learning [46.985865191341944]
  CLIPのようなモデルのゼロショット分類と検索能力は、事前学習中に意味論的に複合的な例を導入することで大幅に向上できることを示す。 本手法はキャプションを融合させ,各画像の50%をブレンドして新しい複合試料を作成する。 CLIP-Cの利点は、特に比較的限られた事前学習データを持つ設定で顕著である。
  論文  参考訳（メタデータ） (2024-07-01T15:58:20Z)
• SemPLeS: Semantic Prompt Learning for Weakly-Supervised Semantic Segmentation [36.41778553250247]
  Weakly-Supervised Semantic (WSSS) は、画像レベルの監督のみで画像データを用いてセグメンテーションモデルを訓練することを目的としている。 本稿では,CLIP潜伏空間を効果的に促進するためのWSSS(Semantic Prompt Learning for WSSS)フレームワークを提案する。 SemPLeSはオブジェクト領域と関連するクラスラベル間のセマンティックアライメントを改善することができる。
  論文  参考訳（メタデータ） (2024-01-22T09:41:05Z)
• TagCLIP: A Local-to-Global Framework to Enhance Open-Vocabulary Multi-Label Classification of CLIP Without Training [29.431698321195814]
  Contrastive Language-Image Pre-Training (CLIP) はオープン語彙分類において顕著な能力を示した。 CLIPは、グローバル機能が最も顕著なクラスに支配される傾向があるため、マルチラベルデータセットのパフォーマンスが低い。 画像タグを得るための局所言語フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:15:40Z)
• MixReorg: Cross-Modal Mixed Patch Reorganization is a Good Mask Learner for Open-World Semantic Segmentation [110.09800389100599]
  セマンティックセグメンテーションのための新鮮で簡単な事前学習パラダイムであるMixReorgを提案する。 我々のアプローチは、パッチとテキストの対応を保ちながら、画像パッチを混合することで、きめ細かいパッチテキストペアデータを生成することである。 マスク学習者としてMixReorgを使用することで、従来のテキスト教師付きセマンティックセマンティックセマンティックモデルは、非常に一般化可能なピクセル・セマンティックアライメントを実現することができる。
  論文  参考訳（メタデータ） (2023-08-09T09:35:16Z)
• CorrMatch: Label Propagation via Correlation Matching for Semi-Supervised Semantic Segmentation [73.89509052503222]
  本稿では、CorrMatchと呼ばれる、単純だが実行可能な半教師付きセマンティックセマンティックセマンティックセマンティクス手法を提案する。 相関写像は、同一カテゴリのクラスタリングピクセルを容易に実現できるだけでなく、良好な形状情報も含んでいることを観察する。 我々は,高信頼画素を拡大し,さらに掘り出すために,画素の対の類似性をモデル化して画素伝搬を行う。 そして、相関地図から抽出した正確なクラス非依存マスクを用いて、領域伝搬を行い、擬似ラベルを強化する。
  論文  参考訳（メタデータ） (2023-06-07T10:02:29Z)
• Advancing Incremental Few-shot Semantic Segmentation via Semantic-guided Relation Alignment and Adaptation [98.51938442785179]
  増分的な数ショットセマンティックセマンティックセマンティクスは、セマンティクスセマンティクスモデルを新しいクラスに漸進的に拡張することを目的としている。 このタスクは、データ不均衡のため、ベースクラスと新しいクラスの間で深刻な意味認識の問題に直面します。 本稿では,従来の意味情報のガイダンスを完全に考慮した意味誘導型関係調整適応法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:40:52Z)
• TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic Segmentation [53.974228542090046]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、最近、ピクセルレベルのゼロショット学習タスクにおいて大きな可能性を示している。 CLIPのテキストとパッチの埋め込みを利用してセマンティックマスクを生成する既存のアプローチは、しばしば目に見えないクラスから入力ピクセルを誤識別する。 この問題に対処するためにTagCLIP(Trusty-aware guideed CLIP)を提案する。
  論文  参考訳（メタデータ） (2023-04-15T12:52:23Z)
• Triplet Contrastive Learning for Unsupervised Vehicle Re-identification [55.445358749042384]
  部分的特徴学習は、車両の再識別におけるセマンティック理解にとって重要な技術である。 本稿では,クラスタ機能を活用したTCL(Triplet Contrastive Learning framework)を提案する。
  論文  参考訳（メタデータ） (2023-01-23T15:52:12Z)
• FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced Context-Aware Network [48.912196729711624]
  Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。 本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。 さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
  論文  参考訳（メタデータ） (2023-01-19T16:31:13Z)
• Open Vocabulary Semantic Segmentation with Patch Aligned Contrastive Learning [82.70453633641466]
  Patch Aligned Contrastive Learning (PACL)を導入する。 PACLは画像レベルの予測にも適用可能であることを示し、CLIPバックボーンで使用すると、ゼロショット分類精度が全般的に向上することを示した。
  論文  参考訳（メタデータ） (2022-12-09T17:23:00Z)
• A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model [61.58071099082296]
  オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。 本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。 実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-29T18:56:18Z)
• Causal Intervention for Weakly-Supervised Semantic Segmentation [122.1846968696862]
  画像レベルのラベルのみを用いて、より優れたピクセルレベルの擬似マスクを生成することを目指している。 画像,コンテキスト,およびクラスラベル間の因果関係を分析するための構造因果モデルを提案する。 そこで本研究では,画像レベルの分類において,矛盾するバイアスを取り除くためのコンテキスト調整(CONTA)手法を提案する。
  論文  参考訳（メタデータ） (2020-09-26T09:26:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。