論文の概要: CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks

• arxiv url: http://arxiv.org/abs/2304.05653v1
• Date: Wed, 12 Apr 2023 07:16:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 16:00:33.585229
• Title: CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks
• Title（参考訳）: 開語彙課題における説明力向上のためのCLIP手術
• Authors: Yi Li, Hualiang Wang, Yiqun Duan, Xiaomeng Li
• Abstract要約: 推論アーキテクチャや特徴に対して,手術のような修正を可能にするCLIPオペレーショナル(CLIP surgery)を提案する。 提案手法は、畳み込みネットワークと視覚変換器の両方におけるCLIPの説明可能性を大幅に改善した。 また,オープンボキャブラリセグメンテーションやマルチラベル認識タスクの大幅な改善も示す。
• 参考スコア（独自算出の注目度）: 13.98481829037268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive Language-Image Pre-training (CLIP) is a powerful multimodal large vision model that has demonstrated significant benefits for downstream tasks, including many zero-shot learning and text-guided vision tasks. However, we notice some severe problems regarding the model's explainability, which undermines its credibility and impedes related tasks. Specifically, we find CLIP prefers the background regions than the foregrounds according to the predicted similarity map, which contradicts human understanding. Besides, there are obvious noisy activations on the visualization results at irrelevant positions. To address these two issues, we conduct in-depth analyses and reveal the reasons with new findings and evidences. Based on these insights, we propose the CLIP Surgery, a method that enables surgery-like modifications for the inference architecture and features, for better explainability and enhancement in multiple open-vocabulary tasks. The proposed method has significantly improved the explainability of CLIP for both convolutional networks and vision transformers, surpassing existing methods by large margins. Besides, our approach also demonstrates remarkable improvements in open-vocabulary segmentation and multi-label recognition tasks. For examples, the mAP improvement on NUS-Wide multi-label recognition is 4.41% without any additional training, and our CLIP Surgery surpasses the state-of-the-art method by 8.74% at mIoU on Cityscapes open-vocabulary semantic segmentation. Furthermore, our method benefits other tasks including multimodal visualization and interactive segmentation like Segment Anything Model (SAM). The code is available at https://github.com/xmed-lab/CLIP_Surgery
• Abstract（参考訳）: コントラスト型言語イメージ事前学習(clip)は,ゼロショット学習やテキスト誘導型視覚タスクなど,下流タスクに大きなメリットがある強力なマルチモーダル大規模視覚モデルである。 しかし,モデルの信頼性が損なわれ,関連するタスクが妨げられるような説明可能性に関する深刻な問題に気が付く。 特に,CLIPは,人的理解に矛盾する予測類似性マップに従って,前景よりも背景領域を好む。 さらに、無関係な位置での可視化結果には明らかなノイズアクティベーションがある。 この2つの問題に対処するために,我々は詳細な分析を行い,新たな発見と証拠によってその理由を明らかにする。 これらの知見に基づいて,複数のオープン語彙タスクにおいて,推論アーキテクチャや特徴に対する手術的な修正を可能にするCLIPオペレーション(CLIP Surgery)を提案する。 提案手法は、畳み込みネットワークとビジョントランスフォーマーの両方においてCLIPの説明可能性を大幅に改善し、既存の手法を大きなマージンで上回った。 また,オープン語彙のセグメンテーションや複数ラベル認識タスクの大幅な改善も示す。 例えば,NUS-Wideのマルチラベル認識におけるmAPの改善は,追加トレーニングなしで4.41%であり,CLIPオペレーションはmIoUでmIoUで8.74%超えている。 さらに,Segment Anything Model (SAM) のようなマルチモーダルな可視化や対話型セグメンテーションなどのタスクにも有効である。 コードはhttps://github.com/xmed-lab/CLIP_Surgeryで入手できる。

関連論文リスト

• Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation [19.749490092520006]
  Self-Calibrated CLIP (SC-CLIP) は、CLIPを校正してより微細な言語表現を生成する訓練不要の手法である。 SC-CLIPはバニラCLIP ViT-L/14の性能を6.8倍向上させる。
  論文  参考訳（メタデータ） (2024-11-24T15:14:05Z)
• ResCLIP: Residual Attention for Training-free Dense Vision-language Inference [27.551367463011008]
  CLIPの非最終層における自己注意の相互相関も局在特性を示す。 本稿では, 中間層からの相互相関自己アテンションを利用して, 最終ブロックの注意を再認識するResidual Cross-correlation Self-attention (RCS) モジュールを提案する。 RCSモジュールは空間情報を効果的に再構成し、高密度視覚言語推論のためのCLIP内の局在電位を解放する。
  論文  参考訳（メタデータ） (2024-11-24T14:14:14Z)
• Locality Alignment Improves Vision-Language Models [55.275235524659905]
  近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。 局所性アライメント(Locality alignment)と呼ばれる,視覚障害者のための新しい学習段階を提案する。 局所性に整合したバックボーンは、様々なベンチマークでパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-10-14T21:01:01Z)
• Explore the Potential of CLIP for Training-Free Open Vocabulary Semantic Segmentation [38.16802763051431]
  トレーニング不要なセマンティックセグメンテーション戦略であるCLIPtraseを提案する。 パッチ間の自己相関を補正することで、局所的な特徴認識を高める。 実験の結果、CLIPよりも平均して9つのセグメンテーションベンチマークで22.3%先行していることがわかった。
  論文  参考訳（メタデータ） (2024-07-11T08:12:16Z)
• CREST: Cross-modal Resonance through Evidential Deep Learning for Enhanced Zero-Shot Learning [48.46511584490582]
  ゼロショット学習(ZSL)は、既知のカテゴリから未知のカテゴリへのセマンティックな知識伝達を活用することで、新しいクラスの認識を可能にする。 分布不均衡や属性共起といった現実世界の課題は、画像の局所的なばらつきの識別を妨げる。 これらの課題を克服するために、双方向のクロスモーダルZSLアプローチCRESTを提案する。
  論文  参考訳（メタデータ） (2024-04-15T10:19:39Z)
• Pay Attention to Your Neighbours: Training-Free Open-Vocabulary Semantic Segmentation [19.20874993309959]
  CLIPのような視覚言語基盤モデルは、多くのゼロショット画像レベルタスクにおいて顕著な効果を示した。 我々は、Nighbour-Aware CLIP(NACLIP)と呼ばれる、トレーニング不要なOVSSのベースラインを提案する。 OVSSの文献では,高密度予測タスクに欠かせないCLIPの視覚変換器の自己アテンションにおけるパッチの局所化が過小評価されている。
  論文  参考訳（メタデータ） (2024-04-12T01:08:04Z)
• Language-Driven Visual Consensus for Zero-Shot Semantic Segmentation [114.72734384299476]
  本稿では,言語駆動型ビジュアルコンセンサス(LDVC)アプローチを提案する。 クラス埋め込みを、その離散的で抽象的な性質からアンカーとして活用し、クラス埋め込みに向けて視覚的特徴を操る。 我々の手法は、目に見えないクラスに対するセグメンテーションモデルの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-13T11:23:55Z)
• Enhancing Few-shot CLIP with Semantic-Aware Fine-Tuning [61.902254546858465]
  Contrastive Language-Image Pre-Trainingに基づく手法は、数発の適応タスクで有望な性能を示した。 本稿では,タスク固有のセマンティクスに焦点を合わせるために,トレーニングプロセス中にアテンションプーリング層のパラメータを微調整することを提案する。
  論文  参考訳（メタデータ） (2023-11-08T05:18:57Z)
• CLIP meets Model Zoo Experts: Pseudo-Supervision for Visual Enhancement [65.47237619200442]
  Contrastive Language Image Pretraining (CLIP)は、視覚言語モデルを訓練するための標準手法である。 モデル動物園からのタスク固有の視覚モデルを用いてCLIPトレーニングを強化し、視覚的表現を改善する。 この単純なセットアップは、異なるビジョンタスク間で最大16.3%の大幅な改善を示している。
  論文  参考訳（メタデータ） (2023-10-21T20:20:13Z)
• Bootstrap Fine-Grained Vision-Language Alignment for Unified Zero-Shot Anomaly Localization [63.61093388441298]
  対照的な言語-画像事前学習モデルは、ゼロショット視覚認識タスクで有望なパフォーマンスを示した。 本研究では,ゼロショット異常局所化のためのAnoCLIPを提案する。
  論文  参考訳（メタデータ） (2023-08-30T10:35:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。