論文の概要: Open-Vocabulary Semantic Segmentation with Image Embedding Balancing

• arxiv url: http://arxiv.org/abs/2406.09829v1
• Date: Fri, 14 Jun 2024 08:34:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 14:34:29.402311
• Title: Open-Vocabulary Semantic Segmentation with Image Embedding Balancing
• Title（参考訳）: 画像埋め込みバランシングを用いた開語彙セマンティックセマンティックセマンティックセグメンテーション
• Authors: Xiangheng Shan, Dongyue Wu, Guilin Zhu, Yuanjie Shao, Nong Sang, Changxin Gao,
• Abstract要約: 本稿では,EBSegと呼ばれるオープン語彙セマンティックセグメンテーションのための新しいフレームワークを提案する。 AdaB Decoderは、トレーニングと新しいクラスの両方に異なるイメージ埋め込みを生成するように設計されている。 SSC Lossは画像特徴空間のクラス間の親和性とCLIPのテキスト特徴空間の親和性を調整する。
• 参考スコア（独自算出の注目度）: 33.69721994194684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-vocabulary semantic segmentation is a challenging task, which requires the model to output semantic masks of an image beyond a close-set vocabulary. Although many efforts have been made to utilize powerful CLIP models to accomplish this task, they are still easily overfitting to training classes due to the natural gaps in semantic information between training and new classes. To overcome this challenge, we propose a novel framework for openvocabulary semantic segmentation called EBSeg, incorporating an Adaptively Balanced Decoder (AdaB Decoder) and a Semantic Structure Consistency loss (SSC Loss). The AdaB Decoder is designed to generate different image embeddings for both training and new classes. Subsequently, these two types of embeddings are adaptively balanced to fully exploit their ability to recognize training classes and generalization ability for new classes. To learn a consistent semantic structure from CLIP, the SSC Loss aligns the inter-classes affinity in the image feature space with that in the text feature space of CLIP, thereby improving the generalization ability of our model. Furthermore, we employ a frozen SAM image encoder to complement the spatial information that CLIP features lack due to the low training image resolution and image-level supervision inherent in CLIP. Extensive experiments conducted across various benchmarks demonstrate that the proposed EBSeg outperforms the state-of-the-art methods. Our code and trained models will be here: https://github.com/slonetime/EBSeg.
• Abstract（参考訳）: オープンボキャブラリセマンティックセグメンテーションは難しい課題であり、モデルがクローズセットボキャブラリを超えて画像の意味マスクを出力する必要がある。 このタスクを達成するために強力なCLIPモデルを活用するために多くの努力がなされてきたが、トレーニングと新しいクラスの間のセマンティック情報に自然にギャップがあるため、トレーニングクラスに過度に適合している。 この課題を克服するために,AdaBデコーダ(Adaptively Balanced Decoder)とSSCロス(Semantic Structure Consistency Loss)を組み合わせた,EBSegと呼ばれるオープン語彙セマンティックセマンティックセマンティックセマンティクスのための新しいフレームワークを提案する。 AdaBデコーダは、トレーニングと新しいクラスの両方に異なるイメージ埋め込みを生成するように設計されている。 その後、これらの2種類の埋め込みは適応的にバランスを取り、トレーニングクラスを認識する能力と新しいクラスの一般化能力を完全に活用する。 CLIPから一貫したセマンティック構造を学習するために、SSCロスは画像特徴空間におけるクラス間の親和性をCLIPのテキスト特徴空間と整合させ、モデルの一般化能力を向上させる。 さらに,CLIPに固有の低トレーニング画像解像度と画像レベルの監督のために,CLIPが特徴とする空間情報を補完するために,凍結SAM画像エンコーダを用いる。 様々なベンチマークで大規模な実験を行い、提案されたEBSegは最先端の手法よりも優れていることを示した。 私たちのコードとトレーニングされたモデルは以下の通りです。

関連論文リスト

• Leveraging Cross-Modal Neighbor Representation for Improved CLIP Classification [54.96876797812238]
  画像と隣接するテキスト間の距離構造に基づく新しいCrOss-moDal nEighbor表現(CODER)を提案する。 高品質のCODERを構築する鍵は、画像にマッチする大量の高品質で多様なテキストを作成する方法にある。 さまざまなデータセットやモデルに対する実験結果から、CODERの有効性が確認されている。
  論文  参考訳（メタデータ） (2024-04-27T02:04:36Z)
• CLIP meets Model Zoo Experts: Pseudo-Supervision for Visual Enhancement [65.47237619200442]
  Contrastive Language Image Pretraining (CLIP)は、視覚言語モデルを訓練するための標準手法である。 モデル動物園からのタスク固有の視覚モデルを用いてCLIPトレーニングを強化し、視覚的表現を改善する。 この単純なセットアップは、異なるビジョンタスク間で最大16.3%の大幅な改善を示している。
  論文  参考訳（メタデータ） (2023-10-21T20:20:13Z)
• SILC: Improving Vision Language Pretraining with Self-Distillation [113.50400246862056]
  本稿では,視覚言語事前学習のための新しいフレームワークであるSILCを紹介する。 SILCは、局所-言語対応学習を自己蒸留で簡単に追加することで、画像テキストのコントラスト学習を改善する。 指数移動平均(EMA)教師モデルから局所像の特徴を抽出することにより,検出やセグメンテーションといった密集した予測タスクにおけるモデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-20T08:44:47Z)
• GOPro: Generate and Optimize Prompts in CLIP using Self-Supervised Learning [14.532939492926406]
  我々は、CLIPの対照的な損失とSSLの損失の課題を克服するために、GOProと呼ばれる素早い学習ベースモデルを提案する。 GOroは、CLIPとSSLの長所を原則的に組み合わせて、3つの損失目標すべてに対してエンドツーエンドでトレーニングされている。
  論文  参考訳（メタデータ） (2023-08-22T17:53:26Z)
• S-CLIP: Semi-supervised Vision-Language Learning using Few Specialist Captions [69.01985134519244]
  対照的な言語画像事前学習(CLIP)のような視覚言語モデルは、自然画像領域において顕著な結果を示した。 S-CLIPはCLIPを訓練するための半教師付き学習手法であり、追加の未ペア画像を利用する。 S-CLIPは、ゼロショット分類でCLIPを10%改善し、リモートセンシングベンチマークで画像テキスト検索で4%改善した。
  論文  参考訳（メタデータ） (2023-05-23T14:18:11Z)
• TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic Segmentation [55.575224613422726]
  コントラスト言語-画像事前学習(CLIP)は,画素レベルのオープン語彙学習タスクにおいて大きな可能性を秘めている。 既存のモデルは、未知のクラスから入力ピクセルを容易に識別し、意味的に類似したクラスと混同する。 提案する最適化問題を,個別にセマンティックマッチングを行い,識別能力の向上のために信頼性を判断する2つの並列プロセスに分解する。
  論文  参考訳（メタデータ） (2023-04-15T12:52:23Z)
• Robust Cross-Modal Representation Learning with Progressive Self-Distillation [7.676408770854477]
  CLIPの視覚言語アプローチの学習目的は、Webハーベスト画像キャプションデータセットに見られるノイズの多い多対多対応を効果的に考慮していない。 本研究では、進行的な自己蒸留とソフトな画像テキストアライメントを用いて、雑音の多いデータから頑健な表現をより効率的に学習するクロスモーダルコントラスト学習に基づく新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-10T03:28:18Z)
• A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model [61.58071099082296]
  オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。 本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。 実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-29T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。