論文の概要: VLM-KD: Knowledge Distillation from VLM for Long-Tail Visual Recognition

• arxiv url: http://arxiv.org/abs/2408.16930v1
• Date: Thu, 29 Aug 2024 22:13:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 16:58:54.745229
• Title: VLM-KD: Knowledge Distillation from VLM for Long-Tail Visual Recognition
• Title（参考訳）: VLM-KD:長期視覚認識のためのVLMからの知識蒸留
• Authors: Zaiwei Zhang, Gregory P. Meyer, Zhichao Lu, Ashish Shrivastava, Avinash Ravichandran, Eric M. Wolff,
• Abstract要約: 市販の視覚言語モデル(VLM)から知識を抽出する効果的な方法を提案する。 我々は、新しいテキストの監督を生成し、自由形式のテキストを視覚エンコーダに蒸留するフレームワークを開発する。 我々の知る限り、本研究は、市販のVLMによって生成されたテキスト管理を初めて活用し、無作為な視覚エンコーダに適用するものである。
• 参考スコア（独自算出の注目度）: 25.927771583678272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For visual recognition, knowledge distillation typically involves transferring knowledge from a large, well-trained teacher model to a smaller student model. In this paper, we introduce an effective method to distill knowledge from an off-the-shelf vision-language model (VLM), demonstrating that it provides novel supervision in addition to those from a conventional vision-only teacher model. Our key technical contribution is the development of a framework that generates novel text supervision and distills free-form text into a vision encoder. We showcase the effectiveness of our approach, termed VLM-KD, across various benchmark datasets, showing that it surpasses several state-of-the-art long-tail visual classifiers. To our knowledge, this work is the first to utilize knowledge distillation with text supervision generated by an off-the-shelf VLM and apply it to vanilla randomly initialized vision encoders.
• Abstract（参考訳）: 視覚的認識においては、知識の蒸留は通常、大きく訓練された教師モデルからより小さな学生モデルへ知識を伝達する。 本稿では,市販の視覚言語モデル(VLM)から知識を抽出する有効な手法を提案する。 我々の重要な技術的貢献は、新しいテキスト管理を作成し、自由形式のテキストを視覚エンコーダに蒸留するフレームワークの開発である。 我々は,VLM-KDと呼ばれるアプローチの有効性を,様々なベンチマークデータセットで示し,最先端のロングテール視覚分類器を超越していることを示す。 我々の知る限り、本研究は、市販のVLMによるテキスト管理による知識蒸留を初めて活用し、ランダムに初期化された視覚エンコーダに適用するものである。

関連論文リスト

• PromptKD: Unsupervised Prompt Distillation for Vision-Language Models [40.858721356497085]
  本稿では,教師モデルの知識を軽量ターゲットモデルに伝達することを目的とした,教師なしドメインプロンプト蒸留フレームワークを提案する。 本フレームワークは,2つの異なる段階から構成される。初期段階では,ドメイン(フェーショット)ラベルを用いて,大規模なCLIP教師モデルを事前訓練する。 その後の段階では、記憶されたクラスベクトルを教師と生徒の画像エンコーダ間で共有し、予測ロジットを算出する。
  論文  参考訳（メタデータ） (2024-03-05T08:53:30Z)
• Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models [56.76307866160105]
  文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。 DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。 提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
  論文  参考訳（メタデータ） (2024-02-29T10:17:27Z)
• Generative Model-based Feature Knowledge Distillation for Action Recognition [11.31068233536815]
  本稿では,軽量学生モデルの学習のための生成モデルを用いた,革新的な知識蒸留フレームワークについて紹介する。 提案手法の有効性は,多種多様な人気データセットに対する総合的な実験によって実証される。
  論文  参考訳（メタデータ） (2023-12-14T03:55:29Z)
• Learning without Forgetting for Vision-Language Models [65.49600786387106]
  CIL(Class-Incremental Learning)あるいは継続的学習(Continuous Learning)は、現実世界において望ましい能力である。 VLM(Vision-Language Models)の最近の進歩は、一般化可能な表現を学習する上で有望な能力を示している。 本稿では,VLM を忘れずに学習できる ProjectiOn Fusion (PROOF) を提案する。
  論文  参考訳（メタデータ） (2023-05-30T17:59:32Z)
• Retrieval-based Knowledge Augmented Vision Language Pre-training [9.779887832992435]
  知識強化事前学習の主な課題は、知識とマルチモーダルデータの間の明確なつながりの欠如である。 本研究では,Retrieval-based knowledge Augmented Vision Language (REAVL)を提案する。 本稿では,知識とマルチモーダルデータとの対応性を効果的に確立する知識認識型自己教師型学習手法を初めて導入する。
  論文  参考訳（メタデータ） (2023-04-27T02:23:47Z)
• Vision-Language Models for Vision Tasks: A Survey [62.543250338410836]
  視覚言語モデル(VLM)は、Webスケールの画像テキストペアからリッチな視覚言語相関を学習する。 本稿では,視覚認知タスクにおける視覚言語モデルの体系的レビューを行う。
  論文  参考訳（メタデータ） (2023-04-03T02:17:05Z)
• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• K-LITE: Learning Transferable Visual Models with External Knowledge [242.3887854728843]
  K-LITE (Knowledge-augmented Language- Image Training and Evaluation) は、外部知識を活用して伝達可能な視覚システムを構築する戦略である。 トレーニングでは、WordNetとWiktionaryの知識で自然言語のエンティティを豊かにする。 評価において、自然言語は外部知識で拡張され、学習された視覚概念を参照するために使用される。
  論文  参考訳（メタデータ） (2022-04-20T04:47:01Z)
• Extracting knowledge from features with multilevel abstraction [3.4443503349903124]
  自己知識蒸留(SKD)は、大きな教師モデルから小さな学生モデルに知識を移すことを目的としている。 本稿では,本手法と異なる方法で,新しいSKD手法を提案する。 実験とアブレーション研究は、様々なタスクにおいて、その大きな効果と一般化を示している。
  論文  参考訳（メタデータ） (2021-12-04T02:25:46Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。