論文の概要: LLaVA-CKD: Bottom-Up Cascaded Knowledge Distillation for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2605.10641v1
• Date: Mon, 11 May 2026 14:28:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.89695
• Title: LLaVA-CKD: Bottom-Up Cascaded Knowledge Distillation for Vision-Language Models
• Title（参考訳）: LLaVA-CKD:視覚言語モデルのためのボトムアップカスケード知識蒸留
• Authors: Nikolaos Gkalelis, Vasileios Mezaris,
• Abstract要約: VLM(Large Vision-Language Models)は、視覚質問応答(VQA)など、視覚言語理解タスクの多用に成功している。 知識蒸留は,高容量教師ネットワークからかなり小さな学生ネットワークへ知識を伝達する技術である。 本稿では,この効果に対応するため,ボトムアップ型知識蒸留(CKD)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.2620484413601325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (VLMs) are successful in addressing a multitude of vision-language understanding tasks, such as Visual Question Answering (VQA), but their memory and compute requirements remain a concern for practical deployment. A promising class of techniques for mitigating this concern is Knowledge Distillation, where knowledge from a high-capacity Teacher network is transferred to a considerably smaller Student network. However, the capacity gap between the two networks is both a blessing and a curse: the smaller the Student network, the better its efficiency, and the larger the Teacher, the more knowledge it carries; yet, beyond a point, the larger capacity gap between the two leads to worse knowledge transfer. To counter this effect, we propose a bottom-up cascaded knowledge distillation (CKD) framework. Instead of treating knowledge transfer as an activity involving one high-capacity Teacher (or an ensemble of such), inspired by human formal education systems, we introduce one (potentially, more) additional Teacher(s) of intermediate capacity that gradually bring the Student network to the next level, where the next (higher-capacity) Teacher can take over. We provide a theoretical analysis in order to study the effect of cascaded distillation in the generalization performance of the Student. We apply the proposed framework on models build upon the LLaVA methodology and evaluate the derived models on seven standard, publicly available VQA benchmarks, demonstrating their SotA performance.
• Abstract（参考訳）: VLM(Large Vision-Language Models)は、視覚質問回答(VQA)などの視覚言語理解タスクに対処することに成功している。 この懸念を緩和するための有望なテクニックのクラスは知識蒸留であり、高容量の教師ネットワークからの知識がより小さな学生ネットワークに転送される。 しかし、2つのネットワーク間のキャパシティのギャップは祝福と呪いの両方である: 学生ネットワークが小さくなればなるほど、その効率が良くなり、教師が大きくなるほど、それが持つ知識が増えます。 これに対抗するために,ボトムアップ型知識蒸留(CKD)フレームワークを提案する。 人間の形式的教育システムにインスパイアされた1人の高能力教師(あるいはそのようなアンサンブル)が関与する活動として知識伝達を扱う代わりに、学生ネットワークを次のレベルへと徐々に拡大する中間的能力を持つ1人(潜在的にそれ以上)の教員を紹介し、次の(高能力)教師が引き継ぐことができる。 本研究は, 学生の一般化性能に及ぼすカスカデド蒸留の効果を理論的に検討するものである。 提案手法をLLaVA手法に基づいて構築したモデルに適用し、7つの標準VQAベンチマーク上で導出モデルの評価を行い、そのSotA性能を実証した。

関連論文リスト

• Alice: Proactive Learning with Teacher's Demonstrations for Weak-to-Strong Generalization [69.96794098855938]
  Weak-to-strong Generalization (W2SG)は、ますます有能な言語モデル(LLM)を監督するための有望なフレームワークを提供する。 伝統的なW2SG手法は受動的学習に依存しており、弱い教師は強い生徒を訓練するためにノイズの多いデモを提供する。 教師と生徒の相補的な知識を活用して学習プロセスを強化するフレームワークであるAliceを紹介した。
  論文  参考訳（メタデータ） (2025-04-09T22:33:06Z)
• Multi-Task Multi-Scale Contrastive Knowledge Distillation for Efficient Medical Image Segmentation [0.0]
  本論文は,医用画像分割作業におけるニューラルネットワーク間の知識伝達の実現可能性を検討することを目的とする。 データボリュームが制限される医療画像の文脈では、より大きなトレーニング済みネットワークからの知識を活用することが有用である。
  論文  参考訳（メタデータ） (2024-06-05T12:06:04Z)
• Talking Models: Distill Pre-trained Knowledge to Downstream Models via Interactive Communication [25.653517213641575]
  我々は、下流の課題の学生が事前学習された基礎モデルから効果的に学習するのに役立つ対話型コミュニケーションプロセスを開発する。 私たちのデザインは、学生のニーズを満たす方法で知識を説明することができる教師から、人間が学ぶ方法にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2023-10-04T22:22:21Z)
• Cross Architecture Distillation for Face Recognition [49.55061794917994]
  本研究では,教師にプロンプトを組み込むことで,蒸留専門知識の管理を可能にする適応型プロンプト教師ネットワーク(APT)を開発した。 一般的な顔のベンチマークと2つの大規模な検証セットによる実験は,本手法の優位性を実証している。
  論文  参考訳（メタデータ） (2023-06-26T12:54:28Z)
• On effects of Knowledge Distillation on Transfer Learning [0.0]
  本稿では,知識蒸留と伝達学習を組み合わせたTL+KDという機械学習アーキテクチャを提案する。 我々は,教師ネットワークの指導と知識を微調整中に利用することにより,学生ネットワークを改良し,精度などの検証性能を向上させることができることを示した。
  論文  参考訳（メタデータ） (2022-10-18T08:11:52Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Improved Knowledge Distillation via Adversarial Collaboration [2.373824287636486]
  小学生モデルは、大きく訓練された教師モデルの知識を活用するために訓練される。 教師と生徒の能力格差のため、生徒の成績は教師のレベルに達することは困難である。 本稿では, 知識蒸留の性能を効果的に向上させる, ACKD (Adversarial Collaborative Knowledge Distillation) 法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T07:20:46Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。