論文の概要: Multi-aspect Knowledge Distillation with Large Language Model

• arxiv url: http://arxiv.org/abs/2501.13341v1
• Date: Thu, 23 Jan 2025 02:45:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:58:17.570969
• Title: Multi-aspect Knowledge Distillation with Large Language Model
• Title（参考訳）: 大規模言語モデルを用いた多視点知識蒸留
• Authors: Taegyeong Lee, Jinsik Bang, Soyeong Kwon, Taehwan Kim,
• Abstract要約: マルチモーダル大言語モデル(MLLM)を用いた多視点知識蒸留法を提案する。 主に画像分類に適用し,モデルの拡張の可能性を探るため,オブジェクト検出などのタスクに拡張する。
• 参考スコア（独自算出の注目度）: 2.317771311576205
• License:
• Abstract: Recent advancements in deep learning have significantly improved performance on computer vision tasks. Previous image classification methods primarily modify model architectures or add features, and they optimize models using cross-entropy loss on class logits. Since they focus on classifying images with considering class labels, these methods may struggle to learn various \emph{aspects} of classes (e.g., natural positions and shape changes). Rethinking the previous approach from a novel view, we propose a multi-aspect knowledge distillation method using Multimodal Large Language Models (MLLMs). Our approach involves: 1) querying Large Language Model with multi-aspect questions relevant to the knowledge we want to transfer to the model, 2) extracting corresponding logits from MLLM, and 3) expanding the model's output dimensions to distill these multi-aspect logits. We then apply cross-entropy loss to class logits and binary cross-entropy loss to multi-aspect logits. Through our method, the model can learn not only the knowledge about visual aspects but also the abstract and complex aspects that require a deeper understanding. We primarily apply our method to image classification, and to explore the potential for extending our model, we expand it to other tasks, such as object detection. In all experimental results, our method improves the performance of the baselines. Additionally, we analyze the effect of multi-aspect knowledge distillation. These results demonstrate that our method can transfer knowledge about various aspects to the model and the aspect knowledge can enhance model performance in computer vision tasks. This paper demonstrates the great potential of multi-aspect knowledge distillation, and we believe it offers a promising direction for future research in computer vision and beyond.
• Abstract（参考訳）: 近年のディープラーニングの進歩により,コンピュータビジョンタスクの性能が大幅に向上した。 以前の画像分類手法は、主にモデルアーキテクチャを変更したり、機能を追加したりし、クラスロジットのクロスエントロピー損失を使ってモデルを最適化する。 クラスラベルを考慮した画像分類に重点を置いているため、これらの手法はクラス(例えば、自然な位置や形状の変化)の様々な \emph{aspects} を学ぶのに苦労する可能性がある。 従来のアプローチを新しい視点から再考し,マルチモーダル大言語モデル(MLLM)を用いた多視点知識蒸留法を提案する。 私たちのアプローチは以下のとおりです。 1) モデルに転送したい知識に関連する多面的な質問で大規模言語モデルに問い合わせる。 2)MLLMから対応するロジットを抽出し、 3) モデルの出力次元を拡大してこれらのマルチアスペクトロジットを蒸留する。 次に、クラスロジットにクロスエントロピーロスを適用し、マルチアスペクトロジットにバイナリクロスエントロピーロスを適用する。 本手法では,視覚的側面の知識だけでなく,より深い理解を必要とする抽象的かつ複雑な側面も学習できる。 主に画像分類に適用し,モデルの拡張の可能性を探るため,オブジェクト検出などのタスクに拡張する。 実験結果のすべてにおいて,本手法はベースラインの性能を向上させる。 また,多面的知識蒸留の効果も分析した。 これらの結果から,本手法は様々な側面の知識をモデルに伝達し,その側面の知識がコンピュータビジョンタスクにおけるモデル性能を向上させることを示す。 本稿では,多面的知識蒸留の可能性を示すとともに,今後のコンピュータビジョン研究の方向性を示す。

関連論文リスト

• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Masked Modeling for Self-supervised Representation Learning on Vision and Beyond [69.64364187449773]
  仮面モデリングは、トレーニング中に比例的にマスキングされる元のデータの一部を予測する、独特なアプローチとして現れてきた。 マスクモデリングにおけるテクニックの詳細については,多様なマスキング戦略,ターゲット回復,ネットワークアーキテクチャなどについて詳述する。 我々は、現在の手法の限界について議論し、マスクモデリング研究を進めるためのいくつかの道のりを指摘した。
  論文  参考訳（メタデータ） (2023-12-31T12:03:21Z)
• Sequential Modeling Enables Scalable Learning for Large Vision Models [120.91839619284431]
  本稿では,言語データを用いずにLVM(Large Vision Model)を学習できる新しい逐次モデリング手法を提案する。 我々は、生画像やビデオや注釈付きデータソースを表現できる共通フォーマット「視覚文」を定義した。
  論文  参考訳（メタデータ） (2023-12-01T18:59:57Z)
• Heterogeneous Generative Knowledge Distillation with Masked Image Modeling [33.95780732124864]
  Masked Image Modeling (MIM) 法は様々な視覚的タスクにおいて大きな成功を収めるが、ヘテロジニアス深層モデルに対する知識蒸留では未解明のままである。 我々は,MIMに基づくH-GKD (Heterogeneous Generative Knowledge Distillation) を開発した。 本手法は,異種教師モデルからデータの視覚的表現と分布を学習するための,シンプルで効果的な学習パラダイムである。
  論文  参考訳（メタデータ） (2023-09-18T08:30:55Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)
• Prototype-guided Cross-task Knowledge Distillation for Large-scale Models [103.04711721343278]
  クロスタスクの知識蒸留は、競争力のあるパフォーマンスを得るために小さな学生モデルを訓練するのに役立ちます。 本稿では,大規模教師ネットワークの内在的ローカルレベルのオブジェクト知識を様々なタスクシナリオに転送するための,プロトタイプ誘導型クロスタスク知識蒸留(ProC-KD)アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-26T15:00:42Z)
• Explainable Recommender Systems via Resolving Learning Representations [57.24565012731325]
  説明はユーザー体験を改善し、システムの欠陥を発見するのに役立つ。 本稿では,表現学習プロセスの透明性を向上させることによって,説明可能な新しい推薦モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-21T05:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。