論文の概要: Parameter-Free Logit Distillation via Sorting Mechanism

• arxiv url: http://arxiv.org/abs/2508.16544v1
• Date: Fri, 22 Aug 2025 17:09:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.467418
• Title: Parameter-Free Logit Distillation via Sorting Mechanism
• Title（参考訳）: ソルティング機構によるパラメータフリーロジット蒸留
• Authors: Stephen Ekaputra Limantoro,
• Abstract要約: 本稿では,ソート機構を用いた新しいロジット処理手法を提案する。 簡単なプラグアンドプレイプリプロセッシングとして,既存のKD手法に効果的にソート手法を適用することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) aims to distill the knowledge from the teacher (larger) to the student (smaller) model via soft-label for the efficient neural network. In general, the performance of a model is determined by accuracy, which is measured with labels. However, existing KD approaches usually use the teacher with its original distribution, neglecting the potential of incorrect prediction. This may contradict the motivation of hard-label learning through cross-entropy loss, which may lead to sub-optimal knowledge distillation on certain samples. To address this issue, we propose a novel logit processing scheme via a sorting mechanism. Specifically, our method has a two-fold goal: (1) fixing the incorrect prediction of the teacher based on the labels and (2) reordering the distribution in a natural way according to priority rank at once. As an easy-to-use, plug-and-play pre-processing, our sort method can be effectively applied to existing logit-based KD methods. Extensive experiments on the CIFAR-100 and ImageNet datasets demonstrate the effectiveness of our method.
• Abstract（参考訳）: 知識蒸留(KD)は、教師(大)から学生(小)モデルに、効率的なニューラルネットワークのためのソフトラベルを通じて知識を蒸留することを目的としている。 一般に、モデルの性能はラベルで測定される精度によって決定される。 しかし、既存のKDアプローチは通常、教師に本来の分布を伝え、誤った予測の可能性を無視する。 これは、クロスエントロピー損失によるハードレーベル学習のモチベーションと矛盾し、特定のサンプルに対する準最適知識の蒸留につながる可能性がある。 そこで本研究では,ソート機構を用いた新しいロジット処理手法を提案する。 具体的には,(1) ラベルに基づいて教師の誤予測を修正し,(2) 優先順位に応じて自然に分布を並べ替える,という2つの目標を掲げる。 プリプロセッサとして,既存のロジットベースのKD手法に効果的にソート手法を適用することができる。 CIFAR-100およびImageNetデータセットの大規模な実験により,本手法の有効性が示された。

関連論文リスト

• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• AI-KD: Adversarial learning and Implicit regularization for self-Knowledge Distillation [20.80341206396388]
  本稿では, 自己知識蒸留(AI-KD)における対向学習と暗黙の正則化という, 対向的ペナル化自己知識蒸留法を提案する。 我々のモデルは,事前学習と過去の予測確率から得られた決定論的および進歩的知識を蒸留するだけでなく,逆学習を用いて決定論的予測分布の知識を伝達する。 提案手法の有効性を実証し,提案手法が最先端手法よりも優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-11-20T10:30:58Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Conditional Generative Data-Free Knowledge Distillation based on Attention Transfer [0.8594140167290099]
  実データを必要としない効率的な携帯ネットワークを訓練するための条件付き生成データフリー知識蒸留(CGDD)フレームワークを提案する。 本フレームワークでは,教師モデルから抽出した知識を除き,事前設定ラベルを付加的な補助情報として導入する。 CIFAR10, CIFAR100, Caltech101では, 99.63%, 99.07%, 99.84%の相対精度が得られた。
  論文  参考訳（メタデータ） (2021-12-31T09:23:40Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)
• Self-Knowledge Distillation with Progressive Refinement of Targets [1.1470070927586016]
  プログレッシブ自己知識蒸留(PS-KD)という,単純で効果的な正則化法を提案する。 PS-KDは、訓練中にハードターゲットを柔らかくするために、モデルの知識を徐々に蒸留する。 分析の結果,PS-KDは,試料の分類の難しさに応じて勾配を再スケーリングすることで,硬い試料採掘の効果を示すことがわかった。
  論文  参考訳（メタデータ） (2020-06-22T04:06:36Z)
• Knowledge distillation via adaptive instance normalization [52.91164959767517]
  本稿では,教師から生徒への特徴統計の伝達に基づく新しい知識蒸留法を提案する。 本手法は,教師に類似する生徒の平均と分散を強制する標準的な方法を超えている。 以上の結果から, 蒸留法は他の蒸留法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2020-03-09T17:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。