論文の概要: Seeing the Image: Prioritizing Visual Correlation by Contrastive Alignment

• arxiv url: http://arxiv.org/abs/2405.17871v1
• Date: Tue, 28 May 2024 06:44:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 20:07:07.510174
• Title: Seeing the Image: Prioritizing Visual Correlation by Contrastive Alignment
• Title（参考訳）: 画像を見る:コントラストアライメントによる視覚相関の優先順位付け
• Authors: Xin Xiao, Bohong Wu, Jiacong Wang, Chunyuan Li, Xun Zhou, Haoyuan Guo,
• Abstract要約: 視覚言語モデル(VLM)における既存の画像-テキストのモダリティアライメントは、各テキストトークンを自己回帰的に等しく扱う。 我々は、その視覚的相関に基づいて、各テキストトークンに対して異なるコントリビューションを割り当てることを提唱する。 コントラストアライメント(Contrastive ALignment, CAL)は、視覚的に相関したトークンのトレーニングを優先する、シンプルで効果的な再重み付け戦略である。
• 参考スコア（独自算出の注目度）: 40.63340635482609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing image-text modality alignment in Vision Language Models (VLMs) treats each text token equally in an autoregressive manner. Despite being simple and effective, this method results in sub-optimal cross-modal alignment by over-emphasizing the text tokens that are less correlated with or even contradictory with the input images. In this paper, we advocate for assigning distinct contributions for each text token based on its visual correlation. Specifically, we present by contrasting image inputs, the difference in prediction logits on each text token provides strong guidance of visual correlation. We therefore introduce Contrastive ALignment (CAL), a simple yet effective re-weighting strategy that prioritizes training visually correlated tokens. Our experimental results demonstrate that CAL consistently improves different types of VLMs across different resolutions and model sizes on various benchmark datasets. Importantly, our method incurs minimal additional computational overhead, rendering it highly efficient compared to alternative data scaling strategies. Codes are available at https://github.com/foundation-multimodal-models/CAL.
• Abstract（参考訳）: 視覚言語モデル(VLM)における既存の画像-テキストのモダリティアライメントは、各テキストトークンを自己回帰的に等しく扱う。 単純かつ効果的であるにもかかわらず、入力画像と相関しにくい、あるいは矛盾しないテキストトークンを過度に強調することにより、最適でない相互アライメントを実現する。 本稿では,その視覚的相関に基づいて,各テキストトークンに対して異なるコントリビューションを割り当てることを提唱する。 具体的には、画像入力を対比することにより、各テキストトークン上の予測ロジットの違いが視覚的相関の強いガイダンスを提供する。 コントラストアライメント(Contrastive ALignment, CAL)は、視覚的に相関したトークンのトレーニングを優先する、シンプルで効果的な再重み付け戦略である。 実験の結果、CALは様々なベンチマークデータセットにおいて、様々な解像度とモデルサイズで異なるタイプのVLMを一貫して改善することを示した。 重要な点として,本手法は計算オーバーヘッドを最小限に抑え,代替データスケーリング戦略と比較して高い効率で処理する。 コードはhttps://github.com/foundation-multimodal-models/CALで公開されている。

関連論文リスト

• Rethinking Homogeneity of Vision and Text Tokens in Large Vision-and-Language Models [29.611769371733672]
  本稿では,視覚とテキストの埋め込みを別々に処理する新しい手法であるDe Attention (D-Attn)を提案する。 D-Attn は視覚と視覚の自己注意を対角化し、計算を $mathcalO(|V|2)$から $mathcalO(|V|)$ for $|V|$ に還元する。
  論文  参考訳（メタデータ） (2025-02-04T00:46:11Z)
• Sparsity Meets Similarity: Leveraging Long-Tail Distribution for Dynamic Optimized Token Representation in Multimodal Large Language Models [6.467840081978855]
  マルチモーダル大言語モデル(MM-LLM)は様々なタスクで大きな成功を収めた。 主な計算負担は、処理されたテキストと視覚トークンから生じる。 視覚的CLSトークン類似度曲線の屈折点を同定する動的プルーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-02T10:49:10Z)
• Token-level Correlation-guided Compression for Efficient Multimodal Document Understanding [54.532578213126065]
  ほとんどの文書理解手法は、サブイメージ内の全てのトークンを保存し、それらを等しく扱う。 これにより、異なる情報性が無視され、画像トークンの数が大幅に増加する。 トークン処理を最適化するためのパラメータフリーかつプラグアンドプレイ手法であるトークンレベルの相関誘導圧縮を提案する。
  論文  参考訳（メタデータ） (2024-07-19T16:11:15Z)
• Improving fine-grained understanding in image-text pre-training [37.163228122323865]
  SPARse Fine-fine Contrastive Alignment (SPARC) は、画像とテキストのペアからよりきめ細かなマルチモーダル表現を事前学習する簡単な方法である。 粗い情報に依存した画像レベルのタスクに対して、競合するアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-18T10:28:45Z)
• Revisiting Multimodal Representation in Contrastive Learning: From Patch and Token Embeddings to Finite Discrete Tokens [76.40196364163663]
  本稿では,CLIPのような学習型視覚言語事前学習手法を提案する。 提案手法は,より包括的な表現を学習し,意味のある相互対応を捉えることができることを示す。
  論文  参考訳（メタデータ） (2023-03-27T00:58:39Z)
• Leveraging per Image-Token Consistency for Vision-Language Pre-training [52.825150269820696]
  クロスモーダルマスク言語モデリング(CMLM)は視覚言語事前学習には不十分である。 視覚言語事前学習のためのEPIC(Leveraging Per Image-Token Consistency)を提案する。 提案手法は, 事前学習法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-11-20T12:10:53Z)
• Token-Label Alignment for Vision Transformers [93.58540411138164]
  データ混合戦略(例えば、CutMix)は、畳み込みニューラルネットワーク(CNN)の性能を大幅に改善する能力を示している。 我々は,データ混合戦略の可能性を抑制するトークン変動現象を同定する。 本稿では,各トークンのラベルを保持するために,変換されたトークンと元のトークンとの対応をトレースするトークンラベルアライメント(TL-Align)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:54:32Z)
• TokenFlow: Rethinking Fine-grained Cross-modal Alignment in Vision-Language Retrieval [30.429340065755436]
  我々は, 細粒度クロスモーダルアライメントのためのモデルに依存しない新しい定式化を考案した。 最適輸送理論に着想を得て,提案手法のインスタンス化であるemphTokenFlowを紹介した。
  論文  参考訳（メタデータ） (2022-09-28T04:11:05Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。