論文の概要: Multi-Modal Adapter for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2409.02958v1
• Date: Tue, 3 Sep 2024 12:47:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 01:16:35.460922
• Title: Multi-Modal Adapter for Vision-Language Models
• Title（参考訳）: 視覚言語モデルのためのマルチモーダル適応器
• Authors: Dominykas Seputis, Serghei Mihailov, Soham Chatterjee, Zehao Xiao,
• Abstract要約: CLIPのマルチモーダル適応手法であるMulti-Modal Adapterを提案する。 テキストと画像の特徴を組み合わせたトレーニング可能なマルチヘッドアテンションレイヤを追加し、両方の追加適応を生成します。
• 参考スコア（独自算出の注目度）: 5.040884755454258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pre-trained vision-language models, such as CLIP, have demonstrated state-of-the-art performance across a wide range of image classification tasks, without requiring retraining. Few-shot CLIP is competitive with existing specialized architectures that were trained on the downstream tasks. Recent research demonstrates that the performance of CLIP can be further improved using lightweight adaptation approaches. However, previous methods adapt different modalities of the CLIP model individually, ignoring the interactions and relationships between visual and textual representations. In this work, we propose Multi-Modal Adapter, an approach for Multi-Modal adaptation of CLIP. Specifically, we add a trainable Multi-Head Attention layer that combines text and image features to produce an additive adaptation of both. Multi-Modal Adapter demonstrates improved generalizability, based on its performance on unseen classes compared to existing adaptation methods. We perform additional ablations and investigations to validate and interpret the proposed approach.
• Abstract（参考訳）: CLIPのような大規模な事前学習された視覚言語モデルは、訓練を必要とせず、幅広い画像分類タスクで最先端のパフォーマンスを実証している。 ダウンストリームタスクでトレーニングされた既存の特殊なアーキテクチャと競合するショットは少ない。 近年の研究では、軽量適応手法によりCLIPの性能をさらに改善できることが示されている。 しかし、従来の手法は、視覚的表現とテキスト表現の相互作用や関係を無視して、個別にCLIPモデルの異なるモダリティに適応する。 本稿では,CLIPのマルチモーダル適応手法であるMulti-Modal Adapterを提案する。 具体的には、テキストと画像の特徴を組み合わせたトレーニング可能なマルチヘッドアテンション層を追加し、両方の追加適応を生成します。 Multi-Modal Adapterは、既存の適応手法と比較して、目に見えないクラスのパフォーマンスに基づいて、一般化性の向上を示す。 提案手法を検証し,解釈するために,追加のアブリケーションと調査を行う。

関連論文リスト

• CLIP-MoE: Towards Building Mixture of Experts for CLIP with Diversified Multiplet Upcycling [21.734200158914476]
  コントラスト言語-画像事前学習(CLIP)はマルチモーダルインテリジェンスの基礎となっている。 DMUは、異なる特徴空間をキャプチャする一連のCLIPモデルを効率的に微調整する。 様々なゼロショット検索、ゼロショット画像分類タスクにおけるCLIP-MoEの顕著な性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-28T09:28:51Z)
• CROME: Cross-Modal Adapters for Efficient Multimodal LLM [28.337072921099494]
  MLLM(Multimodal Large Language Models)は、画像言語機能を示す。 既存のアプローチは、しばしば高価な言語モデルの再訓練と限定的な適応性を必要とする。 本稿では,効率的な視覚言語命令チューニングフレームワークCROMEを提案する。
  論文  参考訳（メタデータ） (2024-08-13T03:45:11Z)
• APoLLo: Unified Adapter and Prompt Learning for Vision Language Models [58.9772868980283]
  本稿では,視覚言語モデルに対する適応学習とプロンプト学習を組み合わせた統合マルチモーダルアプローチであるAPoLLoを提案する。 APoLLoは10種類の画像認識データセットに対して、MaPLe(SOTA)よりも6.03%向上している。
  論文  参考訳（メタデータ） (2023-12-04T01:42:09Z)
• Meta-Adapter: An Online Few-shot Learner for Vision-Language Model [64.21017759533474]
  CLIPとして知られる対照的な視覚言語事前学習は、オープンワールドの視覚概念を知覚する大きな可能性を実証している。 CLIPに基づくほとんどショットの学習方法は、通常、少数のサンプルでパラメータをオフラインで微調整する必要がある。 少数のサンプルから導かれるCLIP機能をオンライン的に洗練するための,軽量な残差型アダプタであるMeta-Adapterを提案する。
  論文  参考訳（メタデータ） (2023-11-07T07:27:16Z)
• Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
  本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。 いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
  論文  参考訳（メタデータ） (2023-10-31T10:45:03Z)
• Instruction-ViT: Multi-Modal Prompts for Instruction Learning in ViT [58.70209492842953]
  本稿では、画像分類のための視覚変換器モデルに命令調律に基づく即時設計を適用することに焦点を当てる。 鍵となる考え方は、カテゴリ情報に関連するマルチモーダルプロンプトを実装し、モデルの微調整を導くことである。 いくつかの画像キャプションタスクの実験に基づいて、性能とドメイン適応性を改善した。
  論文  参考訳（メタデータ） (2023-04-29T08:59:12Z)
• Tip-Adapter: Training-free Adaption of CLIP for Few-shot Classification [58.06983806317233]
  対照的に、CLIPとして知られる事前学習は、大規模な画像テキストペアを使用して視覚表現を学ぶための新しいパラダイムを提供する。 CLIPの適応性を高めるため、既存のメソッドは学習可能なモジュールを微調整する。 そこで本研究では,Tip-Adapterと呼ばれる少数ショット分類を行うためのCLIPのトレーニングフリー適応手法を提案する。
  論文  参考訳（メタデータ） (2022-07-19T19:12:11Z)
• CLIP-Adapter: Better Vision-Language Models with Feature Adapters [79.52844563138493]
  即時チューニング以外に、より良い視覚言語モデルを実現するための代替経路があることが示される。 本稿では,CLIP-Adapterを提案する。 様々な視覚的分類タスクの実験および広範囲なアブレーション研究は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2021-10-09T11:39:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。