論文の概要: Grad-ECLIP: Gradient-based Visual and Textual Explanations for CLIP

• arxiv url: http://arxiv.org/abs/2502.18816v1
• Date: Wed, 26 Feb 2025 04:50:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:57:36.301308
• Title: Grad-ECLIP: Gradient-based Visual and Textual Explanations for CLIP
• Title（参考訳）: Grad-ECLIP:CLIPのためのグラディエントベースのビジュアルおよびテキスト記述
• Authors: Chenyang Zhao, Kun Wang, Janet H. Hsiao, Antoni B. Chan,
• Abstract要約: 私たちはCLIP(Grad-ECLIP)のためのグラディエントに基づく視覚的・テキスト的説明法を提案する。 トークンの特徴にチャネル重みと空間重みを適用し,高品質な視覚的説明を行う。 また,CLIPファインチューニングにおける微粒化アライメントを高めるため,Grad-ECLIPを用いたアプリケーションを提案する。
• 参考スコア（独自算出の注目度）: 44.90909692140324
• License:
• Abstract: Significant progress has been achieved on the improvement and downstream usages of the Contrastive Language-Image Pre-training (CLIP) vision-language model, while less attention is paid to the interpretation of CLIP. We propose a Gradient-based visual and textual Explanation method for CLIP (Grad-ECLIP), which interprets the matching result of CLIP for specific input image-text pair. By decomposing the architecture of the encoder and discovering the relationship between the matching similarity and intermediate spatial features, Grad-ECLIP produces effective heat maps that show the influence of image regions or words on the CLIP results. Different from the previous Transformer interpretation methods that focus on the utilization of self-attention maps, which are typically extremely sparse in CLIP, we produce high-quality visual explanations by applying channel and spatial weights on token features. Qualitative and quantitative evaluations verify the effectiveness and superiority of Grad-ECLIP compared with the state-of-the-art methods. Furthermore, a series of analysis are conducted based on our visual and textual explanation results, from which we explore the working mechanism of image-text matching, the strengths and limitations in attribution identification of CLIP, and the relationship between the concreteness/abstractness of a word and its usage in CLIP. Finally, based on the ability of explanation map that indicates text-specific saliency region of input image, we also propose an application with Grad-ECLIP, which is adopted to boost the fine-grained alignment in the CLIP fine-tuning. The code of Grad-ECLIP is available here: https://github.com/Cyang-Zhao/Grad-Eclip.
• Abstract（参考訳）: CLIP(Contrastive Language- Image Pre-Training)視覚言語モデルの改良とダウンストリーム利用において,CLIPの解釈にはあまり注意が払われていない。 本稿では,CLIP(Grad-ECLIP)の視覚的およびテキスト的説明法を提案する。 エンコーダのアーキテクチャを分解し、一致した類似性と中間空間特徴の関係を見出すことにより、Grad-ECLIPは、画像領域や単語がCLIP結果に与える影響を示す効果的なヒートマップを生成する。 従来のトランスフォーマー解釈法とは違い,CLIPでは極めて疎外な自己認識マップの活用に重点を置いているため,チャネル重みと空間重みをトークンの特徴に適用することにより,高品質な視覚的説明を行うことができる。 定性的および定量的評価により,Grad-ECLIPの有効性と優位性を評価する。 さらに,画像テキストマッチングの動作機構,CLIPの属性識別の強度と限界,および単語の具体性/難易度とCLIPの使用状況との関係について検討した。 最後に,入力画像のテキスト固有の相性領域を示す説明マップの能力に基づき,CLIPファインタニングにおける微粒化アライメントを高めるため,Grad-ECLIPを用いたアプリケーションを提案する。 Grad-ECLIPのコードは、https://github.com/Cyang-Zhao/Grad-Eclip.comで入手できる。

関連論文リスト

• Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation [19.749490092520006]
  Self-Calibrated CLIP (SC-CLIP) は、CLIPを校正してより微細な言語表現を生成する訓練不要の手法である。 SC-CLIPはバニラCLIP ViT-L/14の性能を6.8倍向上させる。
  論文  参考訳（メタデータ） (2024-11-24T15:14:05Z)
• TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives [65.82577305915643]
  Contrastive Language-Image Pretraining (CLIP) モデルは、表現を学ぶためにテキストと視覚的モダリティ間の相互情報を最大化する。 そこで本研究では,テキスト・ツー・イメージ・ジェネレータを用いて,文脈内学習による「ハード」の負の字幕生成と,それに対応する負のイメージ生成が解となることを示す。 提案手法はTripletCLIPと呼ばれ,CLIPの構成能力を向上し,SugarCrepeベンチマークでは9%以上向上した。
  論文  参考訳（メタデータ） (2024-11-04T19:24:59Z)
• Finetuning CLIP to Reason about Pairwise Differences [52.028073305958074]
  本稿では,CLIPのような視覚言語モデルの学習手法を提案する。 我々はまず,ある属性による画像のランク付け能力を大幅に向上させることを実証した。 また、得られる埋め込みは埋め込み空間においてより大きな幾何学的性質に従うことを示す。
  論文  参考訳（メタデータ） (2024-09-15T13:02:14Z)
• Symmetrical Linguistic Feature Distillation with CLIP for Scene Text Recognition [77.93678598476149]
  CLIP-OCR(Symmetrical Linguistic Feature Distillation framework)を新たに構築する。 CLIP画像エンコーダを逆CLIPテキストエンコーダでカスケードすることにより、画像からテキストまでの特徴フローで対称構造を構築する。 大規模な実験では、CLIP-OCRが6つのSTRベンチマークで平均精度93.8%で有効であることが示されている。
  論文  参考訳（メタデータ） (2023-10-08T04:00:20Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• DenseCLIP: Extract Free Dense Labels from CLIP [130.3830819077699]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、オープンボキャブラリゼロショット画像認識において画期的な進歩を遂げた。 DenseCLIP+はSOTAトランスダクティブなゼロショットセマンティックセグメンテーション法を大きなマージンで上回る。 我々の発見は、DenseCLIPが高密度予測タスクの信頼性の高い新たな監視源となることを示唆している。
  論文  参考訳（メタデータ） (2021-12-02T09:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。