論文の概要: Large Language Model Teaches Visual Students: Cross-Modality Transfer of Fine-Grained Conceptual Knowledge

• arxiv url: http://arxiv.org/abs/2606.27527v1
• Date: Thu, 25 Jun 2026 20:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.311168
• Title: Large Language Model Teaches Visual Students: Cross-Modality Transfer of Fine-Grained Conceptual Knowledge
• Title（参考訳）: 大言語モデルによる視覚学生の学習 : 微粒な概念的知識の相互伝達
• Abstract要約: 言語のみの教師から視覚のみの学生モデルへ高レベルの意味的知識を伝達するためのフレームワークであるLaViD-Language-to-Visual Knowledge Distillationを提案する。 LaViDは、視覚クラス間のセマンティックな区別を探索するマルチチョイス質問(MCQ)を生成するように促すことで、LLMから概念的なシグナルを引き出す。
• 参考スコア（独自算出の注目度）: 35.00522690300795
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) possess broad conceptual knowledge acquired through large-scale text pretraining, yet their potential to supervise models in other modalities remains underexplored. In this work, we propose LaViD--Language-to-Visual Knowledge Distillation--a simple and effective framework for transferring high-level semantic knowledge from a language-only teacher to a vision-only student model. Instead of relying on paired multimodal data, LaViD elicits conceptual signals from an LLM by prompting it to generate multiple-choice questions (MCQs) that probe semantic distinctions between visual classes. Each class is mapped to a soft label distribution over these MCQs, forming a rich conceptual signature that guides the student through an auxiliary distillation loss. Notably, despite using a language-only teacher without access to image data, LaViD consistently outperforms recent methods like MaKD that distill from vision-language models across multiple fine-grained benchmarks. It also achieves competitive or superior performance compared to state-of-the-art visual distillation methods such as DKD and MLKD, with further gains when combined with logit standardization. On the Waterbirds dataset, LaViD substantially improves worst-group accuracy, demonstrating enhanced robustness to spurious correlations with distillation. Code is available at https://github.com/lliangthomas/lavid.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大規模テキスト事前訓練によって得られた幅広い概念的知識を持っているが、他のモダリティのモデルを監督する可能性はまだ未熟である。 本研究では,LaViD-Language-to-Visual Knowledge Distillationを提案する。言語のみの教師から視覚のみの学生モデルに高レベルのセマンティック知識を移行するための,シンプルで効果的なフレームワークである。 ペア化されたマルチモーダルデータに頼る代わりに、LaViDは、視覚クラス間のセマンティックな区別を探索するマルチチョイス質問(MCQ)を生成するように促すことで、LLMから概念的信号を引き出す。 各クラスは、これらのMCQ上のソフトラベル分布にマッピングされ、補助的な蒸留損失を通じて学生を誘導する豊富な概念的シグネチャを形成する。 画像データにアクセスできない言語のみの教師でも、LaViDは複数のきめ細かいベンチマークで視覚言語モデルから抽出するMaKDのような最近の手法を一貫して上回っている。 また、DKDやMLKDのような最先端のビジュアル蒸留法と比較して、競争力や性能も優れており、ロジットの標準化と組み合わせればさらに向上する。 Waterbirdsのデータセットでは、LaViDは最悪のグループの精度を大幅に向上し、蒸留との相関関係を刺激する堅牢性を高めた。 コードはhttps://github.com/lliangthomas/lavid.comで入手できる。

関連論文リスト

• Unleashing Vision-Language Semantics for Deepfake Video Detection [78.7562836979696]
  ディープフェイクビデオ検出(DFD)研究は、事前訓練されたビジョンランゲージモデル(VLM)が、異なるアイデンティティにわたるアーティファクトの検出において強力な一般化能力を示すことを示した。 VLAForgeは、深度検出におけるモデルの識別可能性を高めるために、そのようなクロスモーダルセマンティクスの可能性を解き放つ新しいDFDフレームワークである。
  論文  参考訳（メタデータ） (2026-03-25T16:05:35Z)
• Conformal Cross-Modal Active Learning [16.42479423972555]
  Active Learningは、ラベル付けのための最も有益なサンプルを戦略的に選択することで、アノテーションコストを最小限にすることを目的としている。 本稿では,教師-学生アーキテクチャを通じて視覚と言語モダリティを橋渡しする新しいALフレームワークであるConformal Cross-Modal Acquisition (CCMA)を紹介する。
  論文  参考訳（メタデータ） (2026-03-24T12:59:47Z)
• Lightweight Model Pre-training via Language Guided Knowledge Distillation [28.693835349747598]
  本稿では,多くのモバイルデバイスにおいて不可欠な小型モデルの事前学習の問題について検討する。 本稿では,教師と学生の間で伝達される知識の洗練を支援するために,目標下流タスクのカテゴリ名を用いた言語ガイド蒸留(LGD)システムを提案する。 実験結果から,LGD法を用いた蒸留軽量モデルは最先端性能を示し,分類,検出,セグメンテーションなど,様々な下流タスクで検証された。
  論文  参考訳（メタデータ） (2024-06-17T16:07:19Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• ViLTA: Enhancing Vision-Language Pre-training through Textual Augmentation [35.05755930636518]
  画像とテキストのペア間の微細な表現をより容易に学習するための2つのコンポーネントからなるViLTAを提案する。 Masked Language Modeling (MLM) では,モデルの堅牢性を高めるために,ソフトラベルを生成するクロス蒸留法を提案する。 画像テキストマッチング(ITM)では、現在の言語エンコーダを利用して、言語入力のコンテキストに基づいてハードネガティブを合成する。
  論文  参考訳（メタデータ） (2023-08-31T12:46:36Z)
• Distilling Large Vision-Language Model with Out-of-Distribution Generalizability [43.984177729641615]
  本稿では,大規模教師の視覚言語モデルから軽量学生モデルへの視覚表現の蒸留について検討する。 本稿では,いくつかの指標を提案し,その手法を検証するための広範囲な実験を行う。 その結果,オープン・ボキャブラリ・アウト・オブ・ディストリビューションの分類において,ゼロショットと少数ショットの学生のパフォーマンスが著しく向上した。
  論文  参考訳（メタデータ） (2023-07-06T17:05:26Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
  視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。 視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩 我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
  論文  参考訳（メタデータ） (2021-11-29T17:49:24Z)
• Align before Fuse: Vision and Language Representation Learning with Momentum Distillation [52.40490994871753]
  本稿では,ALBEF (BEfore Fusing) の表現に対して,モーダルな注意を通したコントラスト的損失を導入する。 本研究では,運動量モデルで生成した擬似ターゲットから学習する自己学習法である運動量蒸留を提案する。 ALBEFは、複数の下流視覚言語タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-16T00:19:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。