Fugu-MT 論文翻訳(概要): Local Dense Logit Relations for Enhanced Knowledge Distillation

論文の概要: Local Dense Logit Relations for Enhanced Knowledge Distillation

arxiv url: http://arxiv.org/abs/2507.15911v1
Date: Mon, 21 Jul 2025 16:25:38 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-23 21:34:13.812473
Title: Local Dense Logit Relations for Enhanced Knowledge Distillation
Title（参考訳）: 強化知識蒸留のための局所密度ロジット関係
Authors: Liuchi Xu, Kang Liu, Jinshuai Liu, Lu Wang, Lisheng Xu, Jun Cheng,
Abstract要約: Local Logit Distillationはクラス間の関係をキャプチャし、Logit情報を再結合する。臨界カテゴリー対の重みを動的に調整できる適応型デカイウェイト(ADW)戦略を導入する。本手法は, きめ細かい知識を伝達し, もっとも重要な関係性を強調することによって, 生徒のパフォーマンスを向上させる。
参考スコア（独自算出の注目度）: 12.350115738581223
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: State-of-the-art logit distillation methods exhibit versatility, simplicity, and efficiency. Despite the advances, existing studies have yet to delve thoroughly into fine-grained relationships within logit knowledge. In this paper, we propose Local Dense Relational Logit Distillation (LDRLD), a novel method that captures inter-class relationships through recursively decoupling and recombining logit information, thereby providing more detailed and clearer insights for student learning. To further optimize the performance, we introduce an Adaptive Decay Weight (ADW) strategy, which can dynamically adjust the weights for critical category pairs using Inverse Rank Weighting (IRW) and Exponential Rank Decay (ERD). Specifically, IRW assigns weights inversely proportional to the rank differences between pairs, while ERD adaptively controls weight decay based on total ranking scores of category pairs. Furthermore, after the recursive decoupling, we distill the remaining non-target knowledge to ensure knowledge completeness and enhance performance. Ultimately, our method improves the student's performance by transferring fine-grained knowledge and emphasizing the most critical relationships. Extensive experiments on datasets such as CIFAR-100, ImageNet-1K, and Tiny-ImageNet demonstrate that our method compares favorably with state-of-the-art logit-based distillation approaches. The code will be made publicly available.
Abstract（参考訳）: 最先端のロジット蒸留法は、汎用性、単純性、効率性を示している。進歩にもかかわらず、既存の研究は、ロジットの知識の中できめ細かな関係を徹底的に研究していない。本稿では,ロジット情報の再結合と再結合によってクラス間の関係を捉える手法であるLocal Dense Relational Logit Distillation (LDRLD)を提案する。さらに性能を最適化するため, 適応型行列重み (ADW) 戦略を導入し, 逆ランク重み付け (IRW) と指数ランク重み付け (ERD) を用いて臨界カテゴリペアの重みを動的に調整する。具体的には、IRWはペア間のランク差に逆比例して重みを割り当て、EDRはカテゴリペアの総ランキングスコアに基づいて重み減衰を適応的に制御する。さらに,再帰的疎結合後,残りの非目標知識を蒸留して,知識の完全性を確保し,性能を向上させる。最終的に,本手法は,微粒な知識を伝達し,最も批判的な関係を強調することによって,学生のパフォーマンスを向上させる。 CIFAR-100, ImageNet-1K, Tiny-ImageNetなどのデータセットに対する大規模な実験により, 本手法は最先端のロジット蒸留法と良好に比較できることを示した。コードは公開されます。

関連論文リスト

Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
論文参考訳（メタデータ） (2025-06-16T07:55:14Z)
VRM: Knowledge Distillation via Virtual Relation Matching [14.272319084378488]
我々は,関係性に基づく手法において,過度な適合性や刺激的な応答に対する感受性など,いくつかの重要な課題に対処する。我々は、有用なサンプル間、クラス間、およびビュー間相関の富をコンパクトにカプセル化する、新規に構築された親和性グラフを転送する。 CIFAR-100およびImageNetデータセットの実験は、提案した仮想関係マッチング(VRM)法の優れた性能を示す。
論文参考訳（メタデータ） (2025-02-28T06:29:39Z)
Cross-View Consistency Regularisation for Knowledge Distillation [13.918476599394603]
この研究は、半教師付き学習のような分野におけるクロスビュー学習の成功に触発されている。標準ロジット蒸留フレームワークにインテリアビューおよびクロスビューレギュラー化を導入する。また,教師の蒸留信号の品質向上のために,信頼性に基づくソフトラベルマイニングを実施している。
論文参考訳（メタデータ） (2024-12-21T05:41:47Z)
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文参考訳（メタデータ） (2024-12-11T12:31:30Z)
PairDistill: Pairwise Relevance Distillation for Dense Retrieval [35.067998820937284]
本稿ではペアワイズレバレンス蒸留(Pairwise Relevance Distillation, PairDistill)を導入する。類似した文書間の微妙な区別を提供し、密集した検索モデルの訓練を強化する。実験の結果、PairDistillは既存の手法よりも優れており、複数のベンチマークで最新の結果が得られることがわかった。
論文参考訳（メタデータ） (2024-10-02T09:51:42Z)
Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-08T05:44:06Z)
CORSD: Class-Oriented Relational Self Distillation [16.11986532440837]
知識蒸留は、いくつかの制限を保ちながら効果的なモデル圧縮方法を実行する。制約に対処するために,クラス指向自己蒸留(CORSD)という新しいトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-04-28T16:00:31Z)
Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-06T14:49:59Z)
CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
論文参考訳（メタデータ） (2022-05-02T14:42:05Z)
An Efficient Combinatorial Optimization Model Using Learning-to-Rank Distillation [2.0137632982900207]
本稿では, 高速なランク付けポリシを非定型的, 簡易なモデルに抽出可能な, 学習からランク付けへの蒸留に基づくCOPフレームワークを提案する。具体的には、近似されたランキング蒸留を用いて、勾配降下によるスコアベースランキングモデルを学習可能にする。蒸留されたモデルは, それぞれの高性能RLに匹敵する性能を達成できるが, 数倍高速な推算も可能であることを実証する。
論文参考訳（メタデータ） (2021-12-24T10:52:47Z)
Residual Knowledge Distillation [96.18815134719975]
本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
論文参考訳（メタデータ） (2020-02-21T07:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。