論文の概要: MaskCLIP++: A Mask-Based CLIP Fine-tuning Framework for Open-Vocabulary Image Segmentation

• arxiv url: http://arxiv.org/abs/2412.11464v1
• Date: Mon, 16 Dec 2024 05:44:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:57:10.348868
• Title: MaskCLIP++: A Mask-Based CLIP Fine-tuning Framework for Open-Vocabulary Image Segmentation
• Title（参考訳）: MaskCLIP++: オープン語彙画像セグメンテーションのためのマスクベースのCLIPファインチューニングフレームワーク
• Authors: Quan-Sheng Zeng, Yunheng Li, Daquan Zhou, Guanbin Li, Qibin Hou, Ming-Ming Cheng,
• Abstract要約: オープン語彙画像のセグメンテーションはマスク生成器と視覚言語モデルとの相乗効果によって進歩している。 MaskCLIP++と呼ばれる新しい微調整フレームワークを提案し、このフレームワークは生成されたマスクの代わりにグラウンドトルースマスクを使用する。 我々は,A-847,PC-459,A-150,PC-59,PAS-20データセット上で+1.7,+2.3,+2.1,+3.1,+0.3 mIoUの性能改善を実現する。
• 参考スコア（独自算出の注目度）: 109.19165503929992
• License:
• Abstract: Open-vocabulary image segmentation has been advanced through the synergy between mask generators and vision-language models like Contrastive Language-Image Pre-training (CLIP). Previous approaches focus on generating masks while aligning mask features with text embeddings during training. In this paper, we observe that relying on generated low-quality masks can weaken the alignment of vision and language in regional representations. This motivates us to present a new fine-tuning framework, named MaskCLIP++, which uses ground-truth masks instead of generated masks to enhance the mask classification capability of CLIP. Due to the limited diversity of image segmentation datasets with mask annotations, we propose incorporating a consistency alignment constraint during fine-tuning, which alleviates categorical bias toward the fine-tuning dataset. After low-cost fine-tuning, combining with the mask generator in previous state-of-the-art mask-based open vocabulary segmentation methods, we achieve performance improvements of +1.7, +2.3, +2.1, +3.1, and +0.3 mIoU on the A-847, PC-459, A-150, PC-59, and PAS-20 datasets, respectively.
• Abstract（参考訳）: オープンボキャブラリ画像セグメンテーションは、マスクジェネレータとContrastive Language- Image Pre-training (CLIP)のような視覚言語モデルとの相乗効果によって進歩している。 以前のアプローチでは、トレーニング中にマスク機能とテキスト埋め込みを調整しながらマスクを生成することに重点を置いていた。 本稿では,低品質マスクの生成に依存することで,地域表現における視覚と言語のアライメントが弱まることを観察する。 これは、CLIPのマスク分類機能を強化するために、生成されたマスクの代わりにグラウンドトルースマスクを使用するMaskCLIP++という、新しい微調整フレームワークを提示する動機となります。 マスクアノテーションを用いた画像セグメンテーションデータセットの多様性が限られているため、微調整中に整合性制約を組み込むことを提案し、微調整データセットに対する分類バイアスを軽減する。 A-847, PC-459, A-150, PC-59, PAS-20データセット上で, +1.7, +2.3, +2.1, +3.1, +0.3 mIoUの性能向上を実現した。

関連論文リスト

• MTA-CLIP: Language-Guided Semantic Segmentation with Mask-Text Alignment [53.235290505274676]
  CLIPのような大規模視覚言語モデルはセマンティックセグメンテーションのパフォーマンスを向上させることができる。 マスクレベルの視覚言語アライメントを利用した新しいフレームワークであるMTA-CLIPを紹介する。 MTA-CLIPは最先端を達成し、ベンチマークデータセットで平均2.8%と1.3%の先行研究を上回っている。
  論文  参考訳（メタデータ） (2024-07-31T14:56:42Z)
• MaskInversion: Localized Embeddings via Optimization of Explainability Maps [49.50785637749757]
  MaskInversionは、テスト時にマスクによって指定されたクエリ画像領域に対するコンテキスト認識の埋め込みを生成する。 オープン語彙のクラス検索、表現理解の参照、局所的なキャプションや画像生成など、幅広いタスクに使用することができる。
  論文  参考訳（メタデータ） (2024-07-29T14:21:07Z)
• Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
  Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。 未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。 ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
  論文  参考訳（メタデータ） (2024-02-14T06:01:44Z)
• Variance-insensitive and Target-preserving Mask Refinement for Interactive Image Segmentation [68.16510297109872]
  ポイントベースのインタラクティブなイメージセグメンテーションは、セマンティックセグメンテーションや画像編集といったアプリケーションにおけるマスクアノテーションの負担を軽減することができる。 本稿では,ユーザ入力の少ないセグメンテーション品質を向上する新しい手法である可変無感・ターゲット保存マスクリファインメントを提案する。 GrabCut、バークレー、SBD、DAVISデータセットの実験は、インタラクティブな画像セグメンテーションにおける我々の手法の最先端性能を実証している。
  論文  参考訳（メタデータ） (2023-12-22T02:31:31Z)
• Automatic Generation of Semantic Parts for Face Image Synthesis [7.728916126705043]
  セグメンテーションマスクにおけるオブジェクトクラスの形状を自動操作または生成する問題に対処するネットワークアーキテクチャについて述べる。 提案モデルでは,各クラス埋め込みを独立して編集可能な潜在空間にマスクのクラスワイズを埋め込むことができる。 本稿では,Celeb-MaskHQデータセットの定量的および定性的な結果について報告する。
  論文  参考訳（メタデータ） (2023-07-11T15:01:42Z)
• MP-Former: Mask-Piloted Transformer for Image Segmentation [16.620469868310288]
  Mask2Formerはデコーダ層間の一貫性のないマスク予測に悩まされている。 本手法では,マスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスのマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスをマスマスマスマストした。
  論文  参考訳（メタデータ） (2023-03-13T17:57:59Z)
• Open-Vocabulary Semantic Segmentation with Mask-adapted CLIP [45.81698881151867]
  Open-vocabulary semantic segmentationは、トレーニング中に見られなかったかもしれないテキスト記述に従って、イメージをセマンティック領域に分割することを目的としている。 最近の2段階の手法では、まずクラスに依存しないマスクの提案を生成し、次にCLIPなどの事前訓練された視覚言語モデルを利用してマスク付き領域を分類する。 マスクされた画像領域とその対応するテキスト記述の集合上でCLIPを微調整する。 特に、COCOで訓練しADE20K-150で評価すると、我々の最良のモデルは29.6% mIoUであり、これは以前の状態より+8.5%高い。
  論文  参考訳（メタデータ） (2022-10-09T02:57:32Z)
• Open-Vocabulary Instance Segmentation via Robust Cross-Modal Pseudo-Labeling [61.03262873980619]
  Open-vocabularyのインスタンスセグメンテーションは、マスクアノテーションなしで新しいクラスをセグメンテーションすることを目的としている。 本研究では,字幕内の単語の意味を画像中のオブジェクトマスクの視覚的特徴と整合させることで,擬似マスクの訓練を行うクロスモーダルな擬似ラベルフレームワークを提案する。 我々のフレームワークは、生徒の自己学習のための単語意味論を通じて、キャプションに新しいクラスをラベル付けすることができる。
  論文  参考訳（メタデータ） (2021-11-24T18:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。