論文の概要: Quantifying and Enabling the Interpretability of CLIP-like Models

• arxiv url: http://arxiv.org/abs/2409.06579v1
• Date: Tue, 10 Sep 2024 15:19:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 17:11:29.977229
• Title: Quantifying and Enabling the Interpretability of CLIP-like Models
• Title（参考訳）: CLIP様モデルの解釈可能性の定量化と評価
• Authors: Avinash Madasu, Yossi Gandelsman, Vasudev Lal, Phillip Howard,
• Abstract要約: 本稿では,OpenAIとOpenCLIPの6種類のCLIPモデルについて検討する。 我々のアプローチは、TEXTSPANアルゴリズムとコンテキスト内学習を用いて、個々の注意を特定の特性に分解することから始まります。 以上の結果から,より大型のCLIPモデルはより小型のCLIPモデルよりも一般的に解釈可能であることが明らかとなった。
• 参考スコア（独自算出の注目度）: 19.459369149558405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: CLIP is one of the most popular foundational models and is heavily used for many vision-language tasks. However, little is known about the inner workings of CLIP. To bridge this gap we propose a study to quantify the interpretability in CLIP like models. We conduct this study on six different CLIP models from OpenAI and OpenCLIP which vary by size, type of pre-training data and patch size. Our approach begins with using the TEXTSPAN algorithm and in-context learning to break down individual attention heads into specific properties. We then evaluate how easily these heads can be interpreted using new metrics which measure property consistency within heads and property disentanglement across heads. Our findings reveal that larger CLIP models are generally more interpretable than their smaller counterparts. To further assist users in understanding the inner workings of CLIP models, we introduce CLIP-InterpreT, a tool designed for interpretability analysis. CLIP-InterpreT offers five types of analyses: property-based nearest neighbor search, per-head topic segmentation, contrastive segmentation, per-head nearest neighbors of an image, and per-head nearest neighbors of text.
• Abstract（参考訳）: CLIPは最も一般的な基礎モデルの1つで、多くの視覚言語タスクによく使われている。 しかし、CLIPの内部構造についてはほとんど分かっていない。 このギャップを埋めるために、我々はCLIPのようなモデルにおける解釈可能性の定量化の研究を提案する。 本稿では,OpenAIとOpenCLIPの6種類のCLIPモデルについて検討する。 我々のアプローチは、TEXTSPANアルゴリズムとコンテキスト内学習を用いて、個々の注意を特定の特性に分解することから始まります。 そこで我々は,頭部内における特性の整合性や,頭部間の特性の絡み合いを計測する新しい指標を用いて,これらの頭部の解釈がいかに容易かを評価する。 以上の結果から,より大型のCLIPモデルはより小型のCLIPモデルよりも一般的に解釈可能であることが明らかとなった。 ユーザがCLIPモデルの内部動作を理解する上で,さらに支援するために,解釈可能性分析用に設計されたCLIP-InterpreTを導入する。 CLIP-InterpreTは5種類の分析を提供する: プロパティベースの隣人検索、頭ごとのトピックセグメンテーション、コントラストセグメンテーション、画像の頭あたりの隣人、頭あたりの隣人テキスト。

関連論文リスト

• Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation [19.749490092520006]
  Self-Calibrated CLIP (SC-CLIP) は、CLIPを校正してより微細な言語表現を生成する訓練不要の手法である。 SC-CLIPはバニラCLIP ViT-L/14の性能を6.8倍向上させる。
  論文  参考訳（メタデータ） (2024-11-24T15:14:05Z)
• Individuation in Neural Models with and without Visual Grounding [19.007546108571116]
  言語とビジョンのモデルであるCLIPと2つのテキストのみのモデルの違いを示す。 CLIPの埋め込みは、テキストのみのデータで訓練されたモデルよりも、識別の定量的な違いを捉えていることを実証する。
  論文  参考訳（メタデータ） (2024-09-27T16:04:06Z)
• ClearCLIP: Decomposing CLIP Representations for Dense Vision-Language Inference [32.852004564832455]
  我々はCLIPのアーキテクチャを再検討し、残余接続をセグメンテーション品質を劣化させるノイズの主源として同定する。 オープン語彙セマンティックセグメンテーションを強化するためにCLIPの表現を分解する新しいアプローチであるClearCLIPを提案する。
  論文  参考訳（メタデータ） (2024-07-17T09:52:20Z)
• Deciphering the Role of Representation Disentanglement: Investigating Compositional Generalization in CLIP Models [3.9326597037266455]
  構成分布(C-OoD)の一般化はCLIPモデルでは比較的未探索である。 本研究は,CLIPモデルの一般化において,画像およびテキスト表現の歪み,特に構成要素について重要な役割を担っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-07-08T13:04:40Z)
• AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning [50.78033979438031]
  まず、ログバイアスの観点から、CLIPに基づく数ショット学習手法を統一的な定式化して分析する。 本稿では,鍵成分の分析に基づいて,CLIPに基づく複数ショット分類のための効果的なロジットバイアスを学習するための新しいAMU-Tuning法を提案する。
  論文  参考訳（メタデータ） (2024-04-13T10:46:11Z)
• Global Knowledge Calibration for Fast Open-Vocabulary Segmentation [124.74256749281625]
  本稿では,各学習カテゴリの同義語群を生成するテキスト多様化戦略を提案する。 また,CLIPの汎用的な知識を維持するために,テキスト誘導型知識蒸留法を用いている。 提案手法は, 各種データセットに対して頑健な一般化性能を実現する。
  論文  参考訳（メタデータ） (2023-03-16T09:51:41Z)
• CLIP-guided Prototype Modulating for Few-shot Action Recognition [49.11385095278407]
  この研究は、CLIPの強力なマルチモーダル知識を伝達して、不正確なプロトタイプ推定問題を緩和することを目的としている。 本稿では,CLIP-FSAR(CLIP-FSAR)と呼ばれるCLIP誘導型プロトタイプ変調フレームワークについて述べる。
  論文  参考訳（メタデータ） (2023-03-06T09:17:47Z)
• OrdinalCLIP: Learning Rank Prompts for Language-Guided Ordinal Regression [94.28253749970534]
  我々は、リッチなセマンティックCLIP潜在空間からランクの概念を学ぶことを提案する。 OrdinalCLIPは学習可能なコンテキストトークンと学習可能なランク埋め込みで構成されている。 実験結果から,本パラダイムは一般順序回帰タスクにおける競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-06T03:54:53Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• DenseCLIP: Extract Free Dense Labels from CLIP [130.3830819077699]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、オープンボキャブラリゼロショット画像認識において画期的な進歩を遂げた。 DenseCLIP+はSOTAトランスダクティブなゼロショットセマンティックセグメンテーション法を大きなマージンで上回る。 我々の発見は、DenseCLIPが高密度予測タスクの信頼性の高い新たな監視源となることを示唆している。
  論文  参考訳（メタデータ） (2021-12-02T09:23:01Z)
• Evaluating CLIP: Towards Characterization of Broader Capabilities and Downstream Implications [8.15254368157658]
  私たちはCLIPを分析し、そのようなモデルがもたらす課題をいくつか強調します。 CLIPは、従来のコンピュータビジョンシステムに見られるバイアスを継承できる。 これらの結果は、成長する仕事の体に「ベター」モデルの概念を変えることを要求する証拠となる。
  論文  参考訳（メタデータ） (2021-08-05T19:05:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。