論文の概要: Is CLIP ideal? No. Can we fix it? Yes!

• arxiv url: http://arxiv.org/abs/2503.08723v1
• Date: Mon, 10 Mar 2025 23:42:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:39:51.575578
• Title: Is CLIP ideal? No. Can we fix it? Yes!
• Title（参考訳）: CLIPは理想的なのでしょうか? いいえ、修正できますか?はい!
• Authors: Raphi Kang, Yue Song, Georgia Gkioxari, Pietro Perona,
• Abstract要約: Contrastive Language-Image Pre-Trainingは、よく組織化されたセマンティクスでマルチモーダルな潜在空間を学習する一般的な方法である。 広い範囲のアプリケーションにもかかわらず、CLIPの潜伏空間は複雑な視覚とテキストの相互作用を扱うのに失敗することが知られている。 本稿では,CLIP様モデルの原理的,解釈可能な評価法として,コサイン類似度マップ(DCSM)を提案する。
• 参考スコア（独自算出の注目度）: 30.71718499767702
• License:
• Abstract: Contrastive Language-Image Pre-Training (CLIP) is a popular method for learning multimodal latent spaces with well-organized semantics. Despite its wide range of applications, CLIP's latent space is known to fail at handling complex visual-textual interactions. Recent works attempt to address its shortcomings with data-centric or algorithmic approaches. But what if the problem is more fundamental, and lies in the geometry of CLIP? Toward this end, we rigorously analyze CLIP's latent space properties, and prove that no CLIP-like joint embedding space exists which can correctly do any two of the following at the same time: 1. represent basic descriptions and image content, 2. represent attribute binding, 3. represent spatial location and relationships, 4. represent negation. Informed by this analysis, we propose Dense Cosine Similarity Maps (DCSMs) as a principled and interpretable scoring method for CLIP-like models, which solves the fundamental limitations of CLIP by retaining the semantic topology of the image patches and text tokens. This method improves upon the performance of classical CLIP-like joint encoder models on a wide array of benchmarks. We share our code and data here for reproducibility: https://github.com/Raphoo/DCSM_Ideal_CLIP
• Abstract（参考訳）: Contrastive Language-Image Pre-Training (CLIP) は、よく構成されたセマンティクスでマルチモーダルな潜在空間を学習する一般的な方法である。 広い範囲のアプリケーションにもかかわらず、CLIPの潜伏空間は複雑な視覚とテキストの相互作用を扱うのに失敗することが知られている。 最近の研究は、その欠点をデータ中心またはアルゴリズム的アプローチで解決しようとしている。 しかし、もし問題がより根本的であり、CLIPの幾何学上にあるとしたらどうだろう? この目的に向けて、我々はCLIPの潜伏空間特性を厳密に分析し、CLIPのような継手埋め込み空間が存在しないことを証明する。 1. 基本記述及び画像内容を表す。 2. 属性のバインディングを表す。 3.空間的位置と関係を表す。 4.否定を表す。 画像パッチとテキストトークンのセマンティックトポロジを保持することにより,CLIPの基本的な制約を解消するCLIP様モデルの原理的かつ解釈可能なスコアリング手法として,Dense Cosine similarity Maps (DCSMs)を提案する。 この手法は, 様々なベンチマークにおいて, 古典的CLIPライクなジョイントエンコーダモデルの性能を向上する。 再現性に関するコードとデータはこちらで公開しています。

関連論文リスト

• Self-Calibrated CLIP for Training-Free Open-Vocabulary Segmentation [19.749490092520006]
  Self-Calibrated CLIP (SC-CLIP) は、CLIPを校正してより微細な表現を生成する訓練不要の手法である。 SC-CLIPはバニラCLIP ViT-L/14の性能を6.8倍向上させる。
  論文  参考訳（メタデータ） (2024-11-24T15:14:05Z)
• Finetuning CLIP to Reason about Pairwise Differences [52.028073305958074]
  本稿では,CLIPのような視覚言語モデルの学習手法を提案する。 我々はまず,ある属性による画像のランク付け能力を大幅に向上させることを実証した。 また、得られる埋め込みは埋め込み空間においてより大きな幾何学的性質に従うことを示す。
  論文  参考訳（メタデータ） (2024-09-15T13:02:14Z)
• Cascade-CLIP: Cascaded Vision-Language Embeddings Alignment for Zero-Shot Semantic Segmentation [72.47110803885235]
  ゼロショットセマンティックセグメンテーションのための新しいフレームワークCascade-CLIPを提案する。 このフレームワークはCOCO-Stuff, Pascal-VOC, Pascal-Contextといったセグメンテーションベンチマークにおいて優れたゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2024-06-02T08:32:51Z)
• CLIP-DINOiser: Teaching CLIP a few DINO tricks for open-vocabulary semantic segmentation [31.264574799748903]
  アノテーションを必要としないオープン語彙セマンティックセマンティックセマンティクス法を提案する。 使用済みの自己教師機能プロパティは,CLIP機能から直接学習可能であることを示す。 我々のCLIP-DINOiser法は,CLIPの1つの前方通過と2つの軽い畳み込み層のみを必要とする。
  論文  参考訳（メタデータ） (2023-12-19T17:40:27Z)
• CLIP-DIY: CLIP Dense Inference Yields Open-Vocabulary Semantic Segmentation For-Free [12.15899043709721]
  CLIP-DIYと呼ばれるオープン語彙セマンティックセマンティックセマンティクス手法を提案する。 異なるサイズのパッチに対してCLIP分類機能を活用し、決定を単一のマップに集約する。 PASCAL VOCでは,最先端のゼロショットセマンティックセマンティックセマンティクスが得られ,COCOのベストメソッドと同等に動作する。
  論文  参考訳（メタデータ） (2023-09-25T16:52:59Z)
• TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic Segmentation [53.974228542090046]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、最近、ピクセルレベルのゼロショット学習タスクにおいて大きな可能性を示している。 CLIPのテキストとパッチの埋め込みを利用してセマンティックマスクを生成する既存のアプローチは、しばしば目に見えないクラスから入力ピクセルを誤識別する。 この問題に対処するためにTagCLIP(Trusty-aware guideed CLIP)を提案する。
  論文  参考訳（メタデータ） (2023-04-15T12:52:23Z)
• LidarCLIP or: How I Learned to Talk to Point Clouds [3.0623865942628594]
  LidarCLIPは、自動車のポイントクラウドから既存のCLIP埋め込みスペースへのマッピングである。 本稿では,LidarCLIPが画像検索と同等であることを示すことで,LidarCLIPの有効性を示す。 また、ゼロショット分類についても検討し、LidarCLIPは、ポイントクラウドにCLIPを使用する既存の試みを、大きなマージンで上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-13T19:02:35Z)
• ZegCLIP: Towards Adapting CLIP for Zero-shot Semantic Segmentation [35.60888272729273]
  近年、CLIPは2段階のスキームを用いて画素レベルのゼロショット学習タスクに適用されている。 このような方式は有効であるが、2つの画像エンコーダが必要であり、1つは提案生成用、もう1つはCLIP用であり、複雑なパイプラインと高い計算コストをもたらす。 本稿では,CLIPのゼロショット予測能力を画像からピクセルレベルまで直接拡張する,シンプルかつ効率的なワンステージソリューションを提案する。
  論文  参考訳（メタデータ） (2022-12-07T12:05:00Z)
• CLIP2GAN: Towards Bridging Text with the Latent Space of GANs [128.47600914674985]
  本稿では,CLIPモデルとStyleGANを利用した新しいフレームワークであるCLIP2GANを提案する。 CLIP2GANのキーとなるアイデアは、CLIPの出力機能埋め込みスペースとStyleGANの入力潜在スペースをブリッジすることです。
  論文  参考訳（メタデータ） (2022-11-28T04:07:17Z)
• PointCLIP: Point Cloud Understanding by CLIP [77.02399444893963]
  本稿では,CLIP符号化点クラウドと3Dカテゴリテキストのアライメントを行うPointCLIPを提案する。 PointCLIPは、リソースコストとデータレシエーションの低いCLIPによる効果的な3Dポイントクラウド理解のための、有望な代替手段である。
  論文  参考訳（メタデータ） (2021-12-04T19:42:40Z)
• DenseCLIP: Extract Free Dense Labels from CLIP [130.3830819077699]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、オープンボキャブラリゼロショット画像認識において画期的な進歩を遂げた。 DenseCLIP+はSOTAトランスダクティブなゼロショットセマンティックセグメンテーション法を大きなマージンで上回る。 我々の発見は、DenseCLIPが高密度予測タスクの信頼性の高い新たな監視源となることを示唆している。
  論文  参考訳（メタデータ） (2021-12-02T09:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。