論文の概要: Beyond Sole Strength: Customized Ensembles for Generalized Vision-Language Models

• arxiv url: http://arxiv.org/abs/2311.17091v2
• Date: Sun, 2 Jun 2024 03:00:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:11:43.096555
• Title: Beyond Sole Strength: Customized Ensembles for Generalized Vision-Language Models
• Title（参考訳）: ソレ強度を超えて: 一般化ビジョンランゲージモデルのためのカスタマイズアンサンブル
• Authors: Zhihe Lu, Jiawang Bai, Xin Li, Zeyu Xiao, Xinchao Wang,
• Abstract要約: ファインチューニング型視覚言語モデル (VLM) はその実用的価値から人気が高まっている。 本稿では、より弱いVLMを活用してロバストな単一モデルの一般化を促進するための協調可能性について検討する。 それぞれが特定のシナリオに合わせてカスタマイズされた3つのアンサンブル戦略を導入する。 提案したアンサンブル戦略はゼロショット,ベース・ツー・ニュー,クロスデータセットの一般化に基づいて評価され,新たな最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 55.5610165938949
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Fine-tuning pre-trained vision-language models (VLMs), e.g., CLIP, for the open-world generalization has gained increasing popularity due to its practical value. However, performance advancements are limited when relying solely on intricate algorithmic designs for a single model, even one exhibiting strong performance, e.g., CLIP-ViT-B/16. This paper, for the first time, explores the collaborative potential of leveraging much weaker VLMs to enhance the generalization of a robust single model. The affirmative findings motivate us to address the generalization problem from a novel perspective, i.e., ensemble of pre-trained VLMs. We introduce three customized ensemble strategies, each tailored to one specific scenario. Firstly, we introduce the zero-shot ensemble, automatically adjusting the logits of different models based on their confidence when only pre-trained VLMs are available. Furthermore, for scenarios with extra few-shot samples, we propose the training-free and tuning ensemble, offering flexibility based on the availability of computing resources. The proposed ensemble strategies are evaluated on zero-shot, base-to-new, and cross-dataset generalization, achieving new state-of-the-art performance. Notably, this work represents an initial stride toward enhancing the generalization performance of VLMs via ensemble. The code is available at https://github.com/zhiheLu/Ensemble_VLM.git.
• Abstract（参考訳）: オープンワールドの一般化のための微調整済み視覚言語モデル(VLM)やCLIP(CLIP)は、実用的価値から人気が高まっている。 しかし、シングルモデルの複雑なアルゴリズム設計にのみ依存する場合、パフォーマンスの進歩は制限され、例えばCLIP-ViT-B/16のような強力なパフォーマンスを示すものさえある。 本稿では、より弱いVLMを活用してロバストな単一モデルの一般化を促進するための協調可能性について、初めて検討する。 この肯定的な発見は、新しい視点、すなわち事前訓練されたVLMのアンサンブルから、一般化問題に対処する動機となる。 それぞれが特定のシナリオに合わせてカスタマイズされた3つのアンサンブル戦略を導入する。 まず、ゼロショットアンサンブルを導入し、事前訓練されたVLMが利用可能である場合に、その信頼性に基づいて異なるモデルのロジットを自動的に調整する。 さらに,余分なサンプルを持つシナリオに対しては,コンピュータリソースの可用性に基づいた柔軟性を備えた,トレーニングフリーでチューニング可能なアンサンブルを提案する。 提案したアンサンブル戦略はゼロショット,ベース・ツー・ニュー,クロスデータセットの一般化に基づいて評価され,新たな最先端性能を実現する。 特に、本研究は、アンサンブルによるVLMの一般化性能向上に向けた最初の一歩である。 コードはhttps://github.com/zhiheLu/Ensemble_VLM.gitで公開されている。

関連論文リスト

• Style-Pro: Style-Guided Prompt Learning for Generalizable Vision-Language Models [5.492174268132387]
  Style-Proは、CLIPのゼロショット一般化能力を緩和し、保存する新しいプロンプト学習フレームワークである。 Style-Proは、ベース・ツー・ニューの一般化、クロス・データセットの転送、ドメインの一般化など、さまざまな設定における最先端のメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-11-25T00:20:53Z)
• Preserving Multi-Modal Capabilities of Pre-trained VLMs for Improving Vision-Linguistic Compositionality [69.76121008898677]
  きめ細かい選択校正CLIPは局所的硬陰性損失と選択的校正正規化を統合している。 評価の結果、FSC-CLIPは、最先端モデルと同等の合成性を達成できるだけでなく、強力なマルチモーダル能力を保っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-07T17:16:20Z)
• CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
  インクリメンタル・プロンプト学習のための連続的生成学習を提案する。 変分オートエンコーダを用いてクラス条件分布を学習する。 このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
  論文  参考訳（メタデータ） (2024-07-22T16:51:28Z)
• Robust Fine-Tuning of Vision-Language Models for Domain Generalization [6.7181844004432385]
  ファンデーションモデルは、分散シフトの下で、印象的なゼロショット推論能力とロバスト性を持っている。 一般的な視覚言語基盤モデルCLIPの微調整のための新しいレシピを提案する。 私たちの実験では、ゼロショットCLIPは、より複雑なベンチマークでトレーニング済みのビジョンモデルのパフォーマンスと一致しないが、少数ショットCLIPの微調整は、ビジョンのみのパフォーマンスよりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-11-03T20:50:40Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。