論文の概要: Interpreting and Analysing CLIP's Zero-Shot Image Classification via Mutual Knowledge

• arxiv url: http://arxiv.org/abs/2410.13016v3
• Date: Wed, 18 Dec 2024 16:01:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:24:16.497415
• Title: Interpreting and Analysing CLIP's Zero-Shot Image Classification via Mutual Knowledge
• Title（参考訳）: 相互知識によるCLIPのゼロショット画像分類の解釈と解析
• Authors: Fawaz Sammani, Nikos Deligiannis,
• Abstract要約: Contrastive Language-Image Pretraining (CLIP)は画像とテキストのクラス表現を共有埋め込み空間にマッピングすることでゼロショット画像分類を行う。 この研究は、2つのモード間の相互知識のレンズから、画像分類のためのCLIPモデルを解釈するための新しいアプローチを提供する。
• 参考スコア（独自算出の注目度）: 20.09852220432504
• License:
• Abstract: Contrastive Language-Image Pretraining (CLIP) performs zero-shot image classification by mapping images and textual class representation into a shared embedding space, then retrieving the class closest to the image. This work provides a new approach for interpreting CLIP models for image classification from the lens of mutual knowledge between the two modalities. Specifically, we ask: what concepts do both vision and language CLIP encoders learn in common that influence the joint embedding space, causing points to be closer or further apart? We answer this question via an approach of textual concept-based explanations, showing their effectiveness, and perform an analysis encompassing a pool of 13 CLIP models varying in architecture, size and pretraining datasets. We explore those different aspects in relation to mutual knowledge, and analyze zero-shot predictions. Our approach demonstrates an effective and human-friendly way of understanding zero-shot classification decisions with CLIP.
• Abstract（参考訳）: Contrastive Language-Image Pretraining (CLIP)は、画像とテキストのクラス表現を共有埋め込み空間にマッピングし、画像に最も近いクラスを検索することでゼロショット画像分類を行う。 この研究は、2つのモード間の相互知識のレンズから、画像分類のためのCLIPモデルを解釈するための新しいアプローチを提供する。 視覚と言語の両方のCLIPエンコーダは、共同埋め込み空間に影響を及ぼす共通点を学習し、ポイントが近づいたり遠ざかったりしますか? 本稿では,テキストの概念に基づく説明のアプローチを用いて,その有効性を示し,アーキテクチャ,サイズ,事前学習データセットに異なる13のCLIPモデルのプールを含む分析を行う。 相互知識に関するこれらの異なる側面を探求し、ゼロショット予測を解析する。 提案手法は,CLIPを用いたゼロショット分類決定を効果的かつ人間フレンドリに理解する方法を示す。

関連論文リスト

• TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives [65.82577305915643]
  Contrastive Language-Image Pretraining (CLIP) モデルは、表現を学ぶためにテキストと視覚的モダリティ間の相互情報を最大化する。 そこで本研究では,テキスト・ツー・イメージ・ジェネレータを用いて,文脈内学習による「ハード」の負の字幕生成と,それに対応する負のイメージ生成が解となることを示す。 提案手法はTripletCLIPと呼ばれ,CLIPの構成能力を向上し,SugarCrepeベンチマークでは9%以上向上した。
  論文  参考訳（メタデータ） (2024-11-04T19:24:59Z)
• Finetuning CLIP to Reason about Pairwise Differences [52.028073305958074]
  本稿では,CLIPのような視覚言語モデルの学習手法を提案する。 我々はまず,ある属性による画像のランク付け能力を大幅に向上させることを実証した。 また、得られる埋め込みは埋め込み空間においてより大きな幾何学的性質に従うことを示す。
  論文  参考訳（メタデータ） (2024-09-15T13:02:14Z)
• Semantic Compositions Enhance Vision-Language Contrastive Learning [46.985865191341944]
  CLIPのようなモデルのゼロショット分類と検索能力は、事前学習中に意味論的に複合的な例を導入することで大幅に向上できることを示す。 本手法はキャプションを融合させ,各画像の50%をブレンドして新しい複合試料を作成する。 CLIP-Cの利点は、特に比較的限られた事前学習データを持つ設定で顕著である。
  論文  参考訳（メタデータ） (2024-07-01T15:58:20Z)
• Unveiling Glitches: A Deep Dive into Image Encoding Bugs within CLIP [0.0]
  私たちは、視覚と言語処理の統合で有名なCLIP(CLIP)に焦点を当てています。 私たちの目的は、CLIPの画像理解における繰り返し発生する問題と盲点を明らかにすることである。 画像に対するCLIPの解釈と人間の知覚との相違について明らかにした。
  論文  参考訳（メタデータ） (2024-06-30T05:23:11Z)
• Understanding Transferable Representation Learning and Zero-shot Transfer in CLIP [84.90129481336659]
  CLIPの基盤となるトランスファーブル表現学習について検討し、異なるモダリティの特徴の整合性を実証する。 そこで本研究では,ベンチマークデータセット上でのCLIPや他の最先端手法よりも優れた性能を実現するCLIP型アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:41:30Z)
• PerceptionCLIP: Visual Classification by Inferring and Conditioning on Contexts [33.109305627550405]
  本稿では,人間の視覚知覚過程からインスピレーションを得る。 トレーニング不要で2段階のゼロショット分類手法であるPerceptionCLIPを提案する。 実験の結果,PerceptionCLIPはより優れた一般化,グループロバスト性,相互運用性を実現することがわかった。
  論文  参考訳（メタデータ） (2023-08-02T17:57:25Z)
• Cross-Modal Concept Learning and Inference for Vision-Language Models [31.463771883036607]
  既存の微調整法では、クラス固有のテキスト記述は画像全体と一致している。 我々は、クロスモデル概念学習と推論(CCLI)と呼ばれる新しい手法を開発した。 本手法は,意味テキストの集合を用いて画像から視覚的特徴の集合を自動的に学習する。
  論文  参考訳（メタデータ） (2023-07-28T10:26:28Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
  ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。 以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
  論文  参考訳（メタデータ） (2022-07-25T17:58:16Z)
• No Token Left Behind: Explainability-Aided Image Classification and Generation [79.4957965474334]
  ここでは、CLIPが入力のすべての関連する意味的部分に焦点を当てることを保証するために、損失項を追加する新しい説明可能性に基づくアプローチを提案する。 本手法は, 追加訓練や微調整を伴わずに, 認識率の向上を図っている。
  論文  参考訳（メタデータ） (2022-04-11T07:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。