論文の概要: On Erroneous Agreements of CLIP Image Embeddings

• arxiv url: http://arxiv.org/abs/2411.05195v1
• Date: Thu, 07 Nov 2024 21:39:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:56:03.097478
• Title: On Erroneous Agreements of CLIP Image Embeddings
• Title（参考訳）: CLIP画像埋め込みの誤一致について
• Authors: Siting Li, Pang Wei Koh, Simon Shaolei Du,
• Abstract要約: MLLM(Multimodal Large Language Models)は,それらから異なる情報を抽出できることを示す。 CLIP画像埋め込みにおける抽出可能な情報は、CLIPの不十分な視覚言語アライメントによって明らかになる。
• 参考スコア（独自算出の注目度）: 18.91969873367244
• License:
• Abstract: Recent research suggests that the failures of Vision-Language Models (VLMs) at visual reasoning often stem from erroneous agreements -- when semantically distinct images are ambiguously encoded by the CLIP image encoder into embeddings with high cosine similarity. In this paper, we show that erroneous agreements are not always the main culprit, as Multimodal Large Language Models (MLLMs) can still extract distinct information from them. For instance, when distinguishing objects on the left vs right in the What'sUp benchmark, the CLIP image embeddings of the left/right pairs have an average cosine similarity $>0.99$, and CLIP performs at random chance; but LLaVA-1.5-7B, which uses the same CLIP image encoder, achieves nearly $100\%$ accuracy. We find that the extractable information in CLIP image embeddings is likely obscured by CLIP's inadequate vision-language alignment: Its matching score learned by the contrastive objective might not capture all diverse image-text correspondences. We also study the MMVP benchmark, on which prior work has shown that LLaVA-1.5 cannot distinguish image pairs with high cosine similarity. We observe a performance gain brought by attending more to visual input through an alternative decoding algorithm. Further, the accuracy significantly increases if the model can take both images as input to emphasize their nuanced differences. Both findings indicate that LLaVA-1.5 did not utilize extracted visual information sufficiently. In conclusion, our findings suggest that while improving image encoders could benefit VLMs, there is still room to enhance models with a fixed image encoder by applying better strategies for extracting and utilizing visual information.
• Abstract（参考訳）: 近年の研究では、視覚的推論における視覚言語モデル(VLM)の失敗は、しばしば誤った合意によるものであることが示唆されている。 本稿では,Multimodal Large Language Models (MLLMs) が相変わらず異なる情報を抽出できるため,誤った合意が必ずしも主要因であるとは限らないことを示す。 例えば、What'sUpベンチマークで左と右のオブジェクトを区別する場合、左右のペアのCLIPイメージの埋め込みは平均的なコサイン類似度が$>0.99$であり、CLIPはランダムに実行されるが、同じCLIPイメージエンコーダを使用するLLaVA-1.5-7Bは、ほぼ100\%の精度を達成する。 CLIP画像埋め込みにおける抽出可能な情報は、CLIPの不適切な視覚言語アライメントによって明らかになる可能性が高い。 また,LLaVA-1.5がコサイン類似度の高い画像対を識別できないことを示すMMVPベンチマークについても検討した。 視覚入力にもっと参加することで得られる性能向上を、代替の復号アルゴリズムを用いて観察する。 さらに、モデルが両方の画像を入力として取り出し、その微妙な違いを強調することができれば、精度は大幅に向上する。 両所見から,LLaVA-1.5は抽出された視覚情報を十分に利用していないことが示唆された。 以上の結果から,画像エンコーダの改良はVLMの恩恵を受けることができるが,画像エンコーダを固定化することで,画像情報の抽出と活用のためのより良い戦略を適用することで,モデルを強化する余地が残っていることが示唆された。

関連論文リスト

• Finetuning CLIP to Reason about Pairwise Differences [52.028073305958074]
  本稿では,CLIPのような視覚言語モデルの学習手法を提案する。 我々はまず,ある属性による画像のランク付け能力を大幅に向上させることを実証した。 また、得られる埋め込みは埋め込み空間においてより大きな幾何学的性質に従うことを示す。
  論文  参考訳（メタデータ） (2024-09-15T13:02:14Z)
• Diffusion Feedback Helps CLIP See Better [40.125318318373715]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、ドメインとモダリティをまたいだオープンワールド表現の抽象化に優れている。 CLIPには、方向、量、色、構造をほとんど区別できないような、深刻な視覚的欠点がある。 自己教師付き拡散プロセスによって視覚的欠点を克服するCLIPモデルに対する後学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:00:09Z)
• Modeling Caption Diversity in Contrastive Vision-Language Pretraining [48.7603274197994]
  画像にマッチするキャプションの多様性をモデル化したLlip, Latent Language Image Pretrainingを導入する。 Llipの視覚エンコーダは、テキストから派生した情報を条件付けして最終的な表現に混合された視覚的特徴のセットを出力する。 Llipは大規模エンコーダでも,CLIPやSigLIPのような非コンテクスト化されたベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-30T01:19:18Z)
• Do Vision and Language Encoders Represent the World Similarly? [22.70701869402434]
  CLIPのようなアライメントされたテキストイメージエンコーダは、視覚言語タスクのデファクトモデルになっている。 非整列および整列エンコーダの表現空間は意味論的に類似していることがわかった。 CLIPのようなアライメントエンコーダに統計的に類似性がない場合、アライメントされていないエンコーダのマッチングがトレーニングなしで存在することを示す。
  論文  参考訳（メタデータ） (2024-01-10T15:51:39Z)
• VadCLIP: Adapting Vision-Language Models for Weakly Supervised Video Anomaly Detection [58.47940430618352]
  弱教師付きビデオ異常検出(WSVAD)のための新しいパラダイムであるVadCLIPを提案する。 VadCLIPは、CLIPの強度に関する視覚と言語の間のきめ細かい関連をフル活用している。 本稿では,VadCLIPが粗粒度および細粒度 WSVAD の両面において最高の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-08-22T14:58:36Z)
• STAIR: Learning Sparse Text and Image Representation in Grounded Tokens [84.14528645941128]
  疎結合なセマンティック表現を構築することは、密度の高いプレゼンテーションと同程度、あるいはそれ以上に強力であることを示す。 CLIPモデルを拡張してスパーステキストと画像表現(STAIR)を構築し、画像とテキストをスパーストークン空間にマッピングする。 CLIPモデルでは、+4.9%$と+4.3%$絶対リコール@1の改善で大幅にパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2023-01-30T17:21:30Z)
• Masked Contrastive Representation Learning [6.737710830712818]
  本研究では,自己指導型視覚前訓練のためのMasked Contrastive Representation Learning(MACRL)を提案する。 我々は、サイムズネットワーク(すなわち、両方の枝のエンコーダ・デコーダ構造)に対して非対称な設定を採用する。 実験では、CIFAR-10、CIFAR-100、Tiny-ImageNet、および他の2つのImageNetサブセットを含む様々なビジョンベンチマークにおいて、MACRLが優れた結果を示す。
  論文  参考訳（メタデータ） (2022-11-11T05:32:28Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• CyCLIP: Cyclic Contrastive Language-Image Pretraining [34.588147979731374]
  ペア画像テキストデータに対するコントラスト表現学習の最近の進歩は、ゼロショット分類と分布ロバスト性のための最先端性能を達成するCLIPのようなモデルにつながっている。 我々は、標準のコントラスト目的によって学習された画像とテキストの表現が交換不可能であり、不整合な下流予測につながることを実証した。 画像やテキスト空間で幾何学的に一貫した表現を明示的に最適化するコントラスト表現学習フレームワークであるCyCLIPを提案する。
  論文  参考訳（メタデータ） (2022-05-28T15:31:17Z)
• Introspective Deep Metric Learning for Image Retrieval [80.29866561553483]
  良好な類似性モデルは、より堅牢なトレーニングのために曖昧なイメージをよりよく扱うように注意しながら、意味的な相違を考慮すべきである、と我々は主張する。 本稿では,画像の意味的特徴とあいまいさを記述した,意味的埋め込みだけでなく,付随する不確実性埋め込みを用いて画像を表現することを提案する。 提案したIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能向上を実現し,広く使用されているCUB-200-2011,Cars196,Stanford Online Productsデータセットの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-05-09T17:51:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。