論文の概要: The Double-Ellipsoid Geometry of CLIP

• arxiv url: http://arxiv.org/abs/2411.14517v1
• Date: Thu, 21 Nov 2024 16:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:06.702690
• Title: The Double-Ellipsoid Geometry of CLIP
• Title（参考訳）: CLIPの二重楕円形状
• Authors: Meir Yossef Levi, Guy Gilboa,
• Abstract要約: 対照的に、CLIP(Contrastive Language- Image Pre-Training)は機械学習アプリケーションにおいて非常に有効である。 テキストと画像は, 原点中心ではなく, 線形分離可能な楕円体殻上に存在することを示す。 インスタンスの任意の他のインスタンスに対する平均コサイン類似度を測定する、新しい整合性の概念が導入された。
• 参考スコア（独自算出の注目度）: 4.013156524547072
• License:
• Abstract: Contrastive Language-Image Pre-Training (CLIP) is highly instrumental in machine learning applications within a large variety of domains. We investigate the geometry of this embedding, which is still not well understood. We examine the raw unnormalized embedding and show that text and image reside on linearly separable ellipsoid shells, not centered at the origin. We explain the benefits of having this structure, allowing to better embed instances according to their uncertainty during contrastive training. Frequent concepts in the dataset yield more false negatives, inducing greater uncertainty. A new notion of conformity is introduced, which measures the average cosine similarity of an instance to any other instance within a representative data set. We show this measure can be accurately estimated by simply computing the cosine similarity to the modality mean vector. Furthermore, we find that CLIP's modality gap optimizes the matching of the conformity distributions of image and text.
• Abstract（参考訳）: 対照的に、CLIP(Contrastive Language- Image Pre-Training)は、さまざまな分野の機械学習アプリケーションにおいて、非常に有効である。 この埋め込みの幾何学について検討するが、まだよく理解されていない。 生の非正規化埋め込みを調べたところ,テキストと画像が直線的に分離可能な楕円体殻上に存在し,原点に基づかないことが明らかとなった。 我々は、この構造を持つことの利点を説明し、コントラストトレーニング中の不確実性に応じてインスタンスをよりうまく埋め込めるようにします。 データセットの頻繁な概念はより偽陰性となり、より大きな不確実性を引き起こす。 新しい整合性の概念を導入し、代表データセット内の任意のインスタンスに対するインスタンスの平均コサイン類似度を測定する。 モータリティ平均ベクトルとのコサイン類似性を単純に計算することで、この測度を正確に推定できることを示す。 さらに、CLIPのモダリティギャップは、画像とテキストの適合度分布の一致を最適化する。

関連論文リスト

• CLIP Adaptation by Intra-modal Overlap Reduction [1.2277343096128712]
  画像空間におけるモーダル内重なりを埋め込み表現の観点から解析する。 Google Open Imagesデータセットからサンプルのジェネリックセットに軽量アダプタをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-17T16:40:58Z)
• Weighted Point Cloud Embedding for Multimodal Contrastive Learning Toward Optimal Similarity Metric [44.95433989446052]
  提案手法の利点は,CLIPの相対的損失に対する新たな理解を通じて示される。 重み付き点雲に基づく提案した類似性は、常に最適類似性を達成することを示す。
  論文  参考訳（メタデータ） (2024-04-30T03:15:04Z)
• Is Cosine-Similarity of Embeddings Really About Similarity? [46.75365717794515]
  コサイン相似性(Cosine-similarity)は、2つのベクトル間の角度のコサイン、すなわちそれらの正規化の間のドット積である。 正規化線形モデルから導かれる埋め込みについて検討し、そこでは閉形式解が解析的洞察を促進する。 我々はコサイン相似性が任意の、したがって無意味な類似性をもたらすか分析的に導出する」。
  論文  参考訳（メタデータ） (2024-03-08T16:48:20Z)
• Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
  セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。 機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。 我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
  論文  参考訳（メタデータ） (2023-01-03T13:51:51Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• Autoencoder Image Interpolation by Shaping the Latent Space [12.482988592988868]
  オートエンコーダは、異なるタイプのデータセットを特徴付ける基礎となる要因を計算するための効果的なアプローチである。 トレーニング画像と整合した多様体に従うために潜在表現を形作る正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-08-04T12:32:54Z)
• Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
  局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。 本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。 実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
  論文  参考訳（メタデータ） (2020-07-20T12:07:48Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)
• Learning Flat Latent Manifolds with VAEs [16.725880610265378]
  本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。 我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。 提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-02-12T09:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。