論文の概要: Preserving Multi-Modal Capabilities of Pre-trained VLMs for Improving Vision-Linguistic Compositionality

• arxiv url: http://arxiv.org/abs/2410.05210v1
• Date: Mon, 7 Oct 2024 17:16:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 23:39:03.191606
• Title: Preserving Multi-Modal Capabilities of Pre-trained VLMs for Improving Vision-Linguistic Compositionality
• Title（参考訳）: 視覚言語的構成性向上のための事前訓練VLMの多モード機能保存
• Authors: Youngtaek Oh, Jae Won Cho, Dong-Jin Kim, In So Kweon, Junmo Kim,
• Abstract要約: きめ細かい選択校正CLIPは局所的硬陰性損失と選択的校正正規化を統合している。 評価の結果、FSC-CLIPは、最先端モデルと同等の合成性を達成できるだけでなく、強力なマルチモーダル能力を保っていることがわかった。
• 参考スコア（独自算出の注目度）: 69.76121008898677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a new method to enhance compositional understanding in pre-trained vision and language models (VLMs) without sacrificing performance in zero-shot multi-modal tasks. Traditional fine-tuning approaches often improve compositional reasoning at the cost of degrading multi-modal capabilities, primarily due to the use of global hard negative (HN) loss, which contrasts global representations of images and texts. This global HN loss pushes HN texts that are highly similar to the original ones, damaging the model's multi-modal representations. To overcome this limitation, we propose Fine-grained Selective Calibrated CLIP (FSC-CLIP), which integrates local hard negative loss and selective calibrated regularization. These innovations provide fine-grained negative supervision while preserving the model's representational integrity. Our extensive evaluations across diverse benchmarks for both compositionality and multi-modal tasks show that FSC-CLIP not only achieves compositionality on par with state-of-the-art models but also retains strong multi-modal capabilities. Code is available at: https://github.com/ytaek-oh/fsc-clip.
• Abstract（参考訳）: 本稿では,ゼロショットマルチモーダルタスクの性能を犠牲にすることなく,事前学習された視覚と言語モデル(VLM)の構成的理解を高める手法を提案する。 従来の微調整アプローチは、画像やテキストのグローバル表現とは対照的なグローバルハードネガティブ(HN)損失を用いることによって、多モード能力を劣化させるコストで構成推論を改善することが多い。 このグローバルなHN損失は、元のテキストと非常によく似たHNテキストをプッシュし、モデルのマルチモーダル表現を損なう。 この制限を克服するために,局所的負の損失と選択的校正正規化を統合した細粒度選択校正CLIP(FSC-CLIP)を提案する。 これらの革新は、モデルの表現整合性を維持しながら、きめ細かい否定的な監督を提供する。 構成性およびマルチモーダルタスクの多種多様なベンチマークにおいて, FSC-CLIPは, 現状のモデルと同等に構成性を達成できるだけでなく, 強力なマルチモーダル能力も維持できることを示す。 コードは、https://github.com/ytaek-oh/fsc-clip.comで入手できる。

関連論文リスト

• Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models [58.936893810674896]
  顔認識システムのセキュリティと信頼性を確保するためには,FAS(Face Anti-Spoofing)が不可欠である。 I-FAS(Interpretable Face Anti-Spoofing)と呼ばれるFASのためのマルチモーダルな大規模言語モデルフレームワークを提案する。 本稿では,FAS画像の高品質なキャプションを生成するために,Spof-Aware Captioning and Filtering(SCF)戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-03T09:25:04Z)
• Discriminative Fine-tuning of LVLMs [67.14293827774827]
  CLIPのような対照的に訓練された視覚言語モデル(VLM)は、識別的視覚言語表現学習の事実上のアプローチとなっている。 我々は,LVLMの識別的微調整のための新たな訓練手法である「両世界のベスト」を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-12-05T17:54:27Z)
• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• LLM-based Hierarchical Concept Decomposition for Interpretable Fine-Grained Image Classification [5.8754760054410955]
  構造化概念解析によるモデル解釈可能性の向上を目的とした新しいフレームワークである textttHi-CoDecomposition を紹介する。 われわれのアプローチは、最先端のモデルの性能だけでなく、意思決定プロセスに対する明確な洞察を提供することで透明性を向上する。
  論文  参考訳（メタデータ） (2024-05-29T00:36:56Z)
• Enhancing Fine-Grained Image Classifications via Cascaded Vision Language Models [0.0]
  本稿では,従来のCLIP手法の制約を克服する革新的なフレームワークであるCascadeVLMを紹介する。 様々なきめ細かい画像データセットに対する実験により、CascadeVLMは既存のモデルよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-18T14:12:04Z)
• Learning the Unlearned: Mitigating Feature Suppression in Contrastive Learning [45.25602203155762]
  自己監督型コントラスト学習は、ラベルのないデータから高品質な表現を導き出すのに有効であることが証明されている。 単目的学習とマルチモーダル学習の両方を妨げる大きな課題は、特徴抑制である。 本稿では,新しいモデルに依存しないマルチステージコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:13:33Z)
• Separate-and-Enhance: Compositional Finetuning for Text2Image Diffusion Models [58.46926334842161]
  この研究は、注意力の低いアクティベーションスコアとマスクオーバーラップに関連する問題を指摘し、このような不一致の根本的な理由を照らしている。 本稿では,物体マスクの重なりを低減し,注目度を最大化する2つの新しい目的,分離損失とエンハンス損失を提案する。 提案手法は従来のテスト時間適応手法と異なり,拡張性と一般化性を高める重要なパラメータの微調整に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-10T22:07:42Z)
• Beyond Sole Strength: Customized Ensembles for Generalized Vision-Language Models [55.5610165938949]
  ファインチューニング型視覚言語モデル (VLM) はその実用的価値から人気が高まっている。 本稿では、より弱いVLMを活用してロバストな単一モデルの一般化を促進するための協調可能性について検討する。 それぞれが特定のシナリオに合わせてカスタマイズされた3つのアンサンブル戦略を導入する。 提案したアンサンブル戦略はゼロショット,ベース・ツー・ニュー,クロスデータセットの一般化に基づいて評価され,新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-28T05:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。