論文の概要: MoKD: Multi-Task Optimization for Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2505.08170v1
• Date: Tue, 13 May 2025 02:13:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.393603
• Title: MoKD: Multi-Task Optimization for Knowledge Distillation
• Title（参考訳）: MoKD:知識蒸留のためのマルチタスク最適化
• Authors: Zeeshan Hayder, Ali Cheraghian, Lars Petersson, Mehrtash Harandi,
• Abstract要約: 知識蒸留(KD)における2つの重要な課題は、教師の指導と課題目標からの学習のバランスである。 知識蒸留のためのマルチタスク最適化(MoKD)を提案する。 MoKDはKDを多目的最適化問題として再定義し、目的物間のバランスを改善する。
• 参考スコア（独自算出の注目度）: 33.447451819037106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compact models can be effectively trained through Knowledge Distillation (KD), a technique that transfers knowledge from larger, high-performing teacher models. Two key challenges in Knowledge Distillation (KD) are: 1) balancing learning from the teacher's guidance and the task objective, and 2) handling the disparity in knowledge representation between teacher and student models. To address these, we propose Multi-Task Optimization for Knowledge Distillation (MoKD). MoKD tackles two main gradient issues: a) Gradient Conflicts, where task-specific and distillation gradients are misaligned, and b) Gradient Dominance, where one objective's gradient dominates, causing imbalance. MoKD reformulates KD as a multi-objective optimization problem, enabling better balance between objectives. Additionally, it introduces a subspace learning framework to project feature representations into a high-dimensional space, improving knowledge transfer. Our MoKD is demonstrated to outperform existing methods through extensive experiments on image classification using the ImageNet-1K dataset and object detection using the COCO dataset, achieving state-of-the-art performance with greater efficiency. To the best of our knowledge, MoKD models also achieve state-of-the-art performance compared to models trained from scratch.
• Abstract（参考訳）: コンパクトモデルは、より大規模で高性能な教師モデルから知識を伝達する技術である知識蒸留(KD)を通じて効果的に訓練することができる。 知識蒸留(KD)における2つの課題は次のとおりである。 1)教師の指導と課題目標からの学習のバランス 2【教師モデルと学生モデルとの知識表現の相違】 そこで本研究では,知識蒸留のためのマルチタスク最適化(MoKD)を提案する。 MoKDは2つの主要な勾配問題に取り組む。 a) タスク特化及び蒸留勾配が不一致である過度な紛争 b) 1つの目的の勾配が支配的であり、不均衡を引き起こすグラディエント・ドミナンス MoKDはKDを多目的最適化問題として再定義し、目的物間のバランスを改善する。 さらに、高次元空間に特徴表現を投影するサブスペース学習フレームワークを導入し、知識伝達を改善した。 我々のMoKDは、ImageNet-1Kデータセットを用いた画像分類とCOCOデータセットを用いたオブジェクト検出による広範囲な実験により、既存の手法より優れており、高い効率で最先端の性能を実現している。 私たちの知る限りでは、MoKDモデルはスクラッチからトレーニングされたモデルと比較して最先端のパフォーマンスも達成しています。

関連論文リスト

• CustomKD: Customizing Large Vision Foundation for Edge Model Improvement via Knowledge Distillation [57.91828170220308]
  本稿では,大規模視覚基盤モデル(LVFM)を効果的に活用し,エッジモデルの性能を向上させる知識蒸留手法であるCustomKDを提案する。 我々のシンプルで効果的なCustomKDは、LVFMに固有のよく一般化された特徴を、モデルの違いを減らすために、与えられた学生モデルにカスタマイズする。
  論文  参考訳（メタデータ） (2025-03-23T23:53:08Z)
• Revisiting Knowledge Distillation for Autoregressive Language Models [88.80146574509195]
  知識蒸留(KD)を改善するための簡易かつ効果的な適応型教育法(ATKD)を提案する。 ATKDの中核は、ロート学習を減らし、教育をより多様で柔軟なものにすることだ。 8つのLMタスクの実験は、ATKDの助けを借りて、様々なベースラインのKD手法が一貫した、重要なパフォーマンス向上を達成することを示した。
  論文  参考訳（メタデータ） (2024-02-19T07:01:10Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Comparative Knowledge Distillation [102.35425896967791]
  伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。 本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。 CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-03T21:55:33Z)
• Gradient-Guided Knowledge Distillation for Object Detectors [3.236217153362305]
  グラディエント誘導型知識蒸留(GKD)という,物体検出における知識蒸留の新しい手法を提案する。 我々のGKDは勾配情報を用いて、検出損失に大きな影響を及ぼす特徴を識別し、割り当て、生徒が教師から最も関連性の高い特徴を学習できるようにする。 KITTIとCOCO-Trafficデータセットの実験は、対象検出のための知識蒸留における本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-03-07T21:09:09Z)
• Continuation KD: Improved Knowledge Distillation through the Lens of Continuation Optimization [29.113990037893597]
  知識蒸留(KD)は、より大規模なモデル(教師)から知識を伝達することで、小さなモデル(学生)のパフォーマンスを向上させる自然言語理解(NLU)タスクに広く用いられている。 既存のKDテクニックは、教師の出力のノイズを軽減するものではない。 従来の手法と比較して,これらの問題に対処する新しいKD手法を提案する。
  論文  参考訳（メタデータ） (2022-12-12T16:00:20Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Knowledge Distillation Beyond Model Compression [13.041607703862724]
  知識蒸留(KD)は、より大規模な事前訓練されたモデルや(教師)モデルのアンサンブルの監督の下で、コンパクトモデル(学生)を訓練する効果的なモデル圧縮技術として一般的に考えられている。 本研究では,9つの異なるKD手法について広範な研究を行い,知識の獲得と伝達に関する幅広いアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-07-03T19:54:04Z)
• Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
  教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。 提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
  論文  参考訳（メタデータ） (2020-05-02T06:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。