論文の概要: Distilling Vision-Language Foundation Models: A Data-Free Approach via Prompt Diversification

• arxiv url: http://arxiv.org/abs/2407.15155v1
• Date: Sun, 21 Jul 2024 13:26:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 19:08:59.390065
• Title: Distilling Vision-Language Foundation Models: A Data-Free Approach via Prompt Diversification
• Title（参考訳）: 蒸留ビジョンランゲージ基礎モデル:急激な多様化によるデータフリーアプローチ
• Authors: Yunyi Xuan, Weijie Chen, Shicai Yang, Di Xie, Luojun Lin, Yueting Zhuang,
• Abstract要約: 我々は、数十億レベルの画像テキストデータセットにアクセスすることなく、DFKDをVision-Language Foundation Modelsに拡張することについて議論する。 目的は,配当に依存しないダウンストリームタスクに対して,与えられたカテゴリ概念を学生モデルにカスタマイズすることである。 本稿では,多様なスタイルで画像合成を促進するために,3つの新しいプロンプト分岐法を提案する。
• 参考スコア（独自算出の注目度）: 49.41632476658246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-Free Knowledge Distillation (DFKD) has shown great potential in creating a compact student model while alleviating the dependency on real training data by synthesizing surrogate data. However, prior arts are seldom discussed under distribution shifts, which may be vulnerable in real-world applications. Recent Vision-Language Foundation Models, e.g., CLIP, have demonstrated remarkable performance in zero-shot out-of-distribution generalization, yet consuming heavy computation resources. In this paper, we discuss the extension of DFKD to Vision-Language Foundation Models without access to the billion-level image-text datasets. The objective is to customize a student model for distribution-agnostic downstream tasks with given category concepts, inheriting the out-of-distribution generalization capability from the pre-trained foundation models. In order to avoid generalization degradation, the primary challenge of this task lies in synthesizing diverse surrogate images driven by text prompts. Since not only category concepts but also style information are encoded in text prompts, we propose three novel Prompt Diversification methods to encourage image synthesis with diverse styles, namely Mix-Prompt, Random-Prompt, and Contrastive-Prompt. Experiments on out-of-distribution generalization datasets demonstrate the effectiveness of the proposed methods, with Contrastive-Prompt performing the best.
• Abstract（参考訳）: データフリー知識蒸留(DFKD)は、代理データを合成することで、実際のトレーニングデータへの依存を緩和しつつ、コンパクトな学生モデルを作成する大きな可能性を示している。 しかし、先行技術は流通シフトの下で議論されることはめったになく、現実の応用に弱い可能性がある。 最近のVision-Language Foundation Models(例えばCLIP)は、ゼロショットのアウト・オブ・ディストリビューションの一般化において顕著な性能を示したが、重い計算資源を消費している。 本稿では,10億レベルの画像テキストデータセットにアクセスすることなく,DFKDからVision-Language Foundation Modelsへの拡張について論じる。 本研究の目的は,事前学習した基礎モデルから配布外一般化能力を継承し,特定のカテゴリ概念を用いて,配布に依存しない下流タスクのための学生モデルをカスタマイズすることである。 一般化の劣化を避けるために、このタスクの主な課題は、テキストプロンプトによって駆動される多様な代理画像の合成である。 カテゴリ概念だけでなく、スタイル情報もテキストプロンプトにエンコードされるので、Mix-Prompt、Random-Prompt、Contrastive-Promptといった多様なスタイルで画像合成を促進する3つの新しいPrompt Diversification法を提案する。 分布外一般化データセットの実験は、提案手法の有効性を示し、Contrastive-Promptが最適である。

関連論文リスト

• Few Shot Class Incremental Learning using Vision-Language models [24.930246674021525]
  本研究では,言語正規化器と部分空間正規化器を利用する,革新的な数ショットクラスインクリメンタルラーニング(FSCIL)フレームワークを提案する。 提案するフレームワークは,限られたデータを持つ新しいクラスをモデルに導入するだけでなく,ベースクラスのパフォーマンスの維持も保証する。
  論文  参考訳（メタデータ） (2024-05-02T06:52:49Z)
• Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
  本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。 包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。 有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
  論文  参考訳（メタデータ） (2024-01-29T10:36:57Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Discffusion: Discriminative Diffusion Models as Few-shot Vision and Language Learners [88.07317175639226]
  本稿では,事前学習したテキストと画像の拡散モデルを数ショットの識別学習者に変換する新しい手法,DSDを提案する。 本手法は, 安定拡散モデルにおいて, 視覚情報とテキスト情報の相互影響を捉えるために, クロスアテンションスコアを用いている。
  論文  参考訳（メタデータ） (2023-05-18T05:41:36Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。