論文の概要: Enhancing Logits Distillation with Plug\&Play Kendall's $τ$ Ranking Loss

• arxiv url: http://arxiv.org/abs/2409.17823v2
• Date: Mon, 16 Jun 2025 15:47:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:44.801479
• Title: Enhancing Logits Distillation with Plug\&Play Kendall's $τ$ Ranking Loss
• Title（参考訳）: Plug\&Play Kendallの$τ$ランキング損失によるロジット蒸留の強化
• Authors: Yuchen Guan, Runxi Cheng, Kang Liu, Chun Yuan,
• Abstract要約: 知識蒸留は通常、教師と学生のロジット間のKL(Kulback-Leibler)のばらつきを最小限に抑える。 その結果,KL分散尺度によって引き起こされる勾配は,教師の対数の大きさとともに,低確率チャネルの更新を減少させることがわかった。 我々はKendallの$tau$係数に基づいて,任意のロジット蒸留フレームワークにシームレスに統合可能な補助的なランキング損失を提案する。
• 参考スコア（独自算出の注目度）: 33.77389987117822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation typically minimizes the Kullback-Leibler (KL) divergence between teacher and student logits. However, optimizing the KL divergence can be challenging for the student and often leads to sub-optimal solutions. We further show that gradients induced by KL divergence scale with the magnitude of the teacher logits, thereby diminishing updates on low-probability channels. This imbalance weakens the transfer of inter-class information and in turn limits the performance improvements achievable by the student. To mitigate this issue, we propose a plug-and-play auxiliary ranking loss based on Kendall's $\tau$ coefficient that can be seamlessly integrated into any logit-based distillation framework. It supplies inter-class relational information while rebalancing gradients toward low-probability channels. We demonstrate that the proposed ranking loss is largely invariant to channel scaling and optimizes an objective aligned with that of KL divergence, making it a natural complement rather than a replacement. Extensive experiments on CIFAR-100, ImageNet, and COCO datasets, as well as various CNN and ViT teacher-student architecture combinations, demonstrate that our plug-and-play ranking loss consistently boosts the performance of multiple distillation baselines. Code is available at https://github.com/OvernighTea/RankingLoss-KD
• Abstract（参考訳）: 知識蒸留は通常、教師と学生のロジット間のKL(Kulback-Leibler)のばらつきを最小限に抑える。 しかしながら、KLの発散を最適化することは学生にとって困難であり、しばしば準最適解につながる。 さらに,KLの発散によって引き起こされる勾配が教師のロジットの規模に比例して大きくなり,低確率チャネルの更新が減少することを示す。 この不均衡は、クラス間の情報の転送を弱め、結果として、学生が達成可能なパフォーマンス改善を制限する。 この問題を緩和するために、Kendallの$\tau$係数に基づく、任意のロジットベースの蒸留フレームワークにシームレスに統合可能な補助的なランキング損失を提案する。 クラス間の関係情報を提供し、低確率チャネルへの勾配を再バランスする。 提案するランキングの損失は,チャネルスケーリングにはほとんど不変であり,KL分散の目標と整合した目標を最適化することで,置換ではなく自然な補完となることを示す。 CIFAR-100, ImageNet, COCOデータセットおよび様々なCNNとViTの教師/学生アーキテクチャの組み合わせに関する大規模な実験により、プラグアンドプレイランキングの損失が、複数の蒸留ベースラインの性能を一貫して向上させることを示した。 コードはhttps://github.com/OvernighTea/RankingLoss-KDで入手できる。

関連論文リスト

• Generalized Kullback-Leibler Divergence Loss [105.66549870868971]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 DKL損失の非結合構造により,我々は改善すべき2つの領域を特定した。
  論文  参考訳（メタデータ） (2025-03-11T04:43:33Z)
• Efficient and Robust Knowledge Distillation from A Stronger Teacher Based on Correlation Matching [0.09999629695552192]
  相関マッチング知識蒸留 (CMKD) 法は, ピアソンとスピアマンの相関係数に基づくKD損失を組み合わせ, より効率的で堅牢な蒸留を実現している。 CMKDはシンプルだが実用的であり、CIRAR-100とImageNetの最先端性能を継続的に達成できることを広範な実験で実証している。
  論文  参考訳（メタデータ） (2024-10-09T05:42:47Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Direct Preference Knowledge Distillation for Large Language Models [73.50849692633953]
  大規模言語モデル(LLM)のためのDPKD(Direct Preference Knowledge Distillation)を提案する。 我々はLLMのKDを、暗黙の報酬と逆のKL分岐からなる最適化と目的の2段階に再構成する。 実験と理論的解析により,KDにおける暗黙の報酬と出力選好の価値と効果を証明した。
  論文  参考訳（メタデータ） (2024-06-28T09:23:40Z)
• Sinkhorn Distance Minimization for Knowledge Distillation [97.64216712016571]
  知識蒸留(KD)は大規模言語モデル(LLM)の圧縮に広く採用されている。 本稿では,上述のKL,RKL,JSの発散が,それぞれモード緩和,モード崩壊,モード下推定といった問題に悩まされていることを示す。 本研究では,Sinkhorn 距離を利用した Sinkhorn Knowledge Distillation (SinKD) を提案する。
  論文  参考訳（メタデータ） (2024-02-27T01:13:58Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Decoupled Kullback-Leibler Divergence Loss [90.54331083430597]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 我々はKL/DKLにクラスワイドなグローバル情報を導入し、個々のサンプルからバイアスを取ります。 提案手法は,新たな最先端の対人ロバスト性を公衆のリーダーボード上で実現する。
  論文  参考訳（メタデータ） (2023-05-23T11:17:45Z)
• Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in Knowledge Distillation [9.157410884444312]
  知識蒸留(KD)は,効率的なニューラルアーキテクチャを設計するために研究されている。 KL分散損失は,タウ増加時のロジットマッチングと,タウが0。 特にKL分散損失を小さいタウで用いた場合, ラベルノイズが軽減される。
  論文  参考訳（メタデータ） (2021-05-19T04:40:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。