論文の概要: Balancing Knowledge Distillation for Imbalance Learning with Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2605.17839v1
• Date: Mon, 18 May 2026 04:19:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.809517
• Title: Balancing Knowledge Distillation for Imbalance Learning with Bilevel Optimization
• Title（参考訳）: 2レベル最適化による不均衡学習のための知識蒸留のバランス
• Authors: Anh B. H. Nguyen, Ba Tho Phan, Viet Cuong Ta,
• Abstract要約: 不均衡なデータでは、ハードとソフトの損失の間の固定重み付けが学習過程を不安定にする。 本稿では,各サンプルのハードとソフトの損失を動的にバランスするバイレベルフレームワークを提案する。 提案手法は,近年の非平衡因子間の不平衡解離相関法を超越している。
• 参考スコア（独自算出の注目度）: 5.161531917413708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation transfers knowledge from a high capacity teacher to a compact student using a mixture of hard and soft losses. On imbalanced data, a fixed weighting between hard and soft losses becomes brittle the learning process. Recent studies try to reweight these components in long-tailed settings. However, most of these meth- ods do not adapt weights at the sample-wise level and do not take into account the students behavior during training. To address this, we pro- pose BiKD - a bilevel framework that dynamically balances hard and soft losses for each sample. We employ a weight generation network that produces adaptive per-sample weights, guided by a small balanced vali- dation set. The student is now trained with an unconstrained combina- tion of weighted hard and soft losses, allowing the student to relax both terms. We further propose a multi-step SGD strategy to optimize the weight model more accurately and efficiently. Experiments on long-tailed CIFAR-10/100 show that our approach surpasses recent balanced distil- lation methods across imbalance factors.
• Abstract（参考訳）: 知識蒸留は、高い能力を持つ教師から、ハードロスとソフトロスの混合を用いて、コンパクトな学生に知識を伝達する。 不均衡なデータでは、ハードとソフトの損失の間の固定重み付けが学習過程を不安定にする。 最近の研究では、これらのコンポーネントを長い尾の配置で再重み付けしようと試みている。 しかし、これらのメスオードのほとんどは、サンプルレベルでの重みを適応せず、訓練中の生徒の振る舞いを考慮に入れない。 これに対処するため、サンプル毎にハードとソフトの損失を動的にバランスするバイレベルフレームワークであるBiKDをプロポーズします。 我々は,小さなバランスの取れたVali-Dationセットによって誘導される適応的なサンプル単位の重みを生成する重み生成ネットワークを用いる。 学生は現在、重み付けされた硬さと柔らかい損失の制約のないコンビナの訓練を受けており、両方の条件を緩和することができる。 さらに,重みモデルをより正確に効率的に最適化するための多段階SGD戦略を提案する。 長い尾を持つCIFAR-10/100の実験結果から,本手法は最近の不均衡因子間の不均衡解離相関法を超越していることがわかった。

関連論文リスト

• Dynamic Distillation and Gradient Consistency for Robust Long-Tailed Incremental Learning [19.30816824251175]
  本稿では, 急激な変動を抑制し, トレーニングプロセスを安定させるために, 整合性勾配正則化を導入する。 第2に, クラス不均衡度と正規化エントロピーの度合いを測定することにより, 蒸留損失の重量を動的に調整する。 CIFAR-100-LT, ImageNetSubset-LT, およびFood101-LTベンチマーク実験の結果, 本手法は最大5.0%の精度向上を実現している。
  論文  参考訳（メタデータ） (2026-05-05T04:50:06Z)
• LiLAW: Lightweight Learnable Adaptive Weighting to Meta-Learn Sample Difficulty and Improve Noisy Training [4.691805203236375]
  軽量学習型適応重み付け(LiLAW)は,各トレーニング試料の損失重みを,その進行困難度に基づいて動的に調整する手法である。 LiLAWは高雑音環境でも継続的に性能を向上する。
  論文  参考訳（メタデータ） (2025-09-25T06:13:25Z)
• Exploring Weight Balancing on Long-Tailed Recognition Problem [32.01426831450348]
  クラスごとのサンプルサイズが重く歪んだ長いデータにおける認識問題の重要性が高まっている。 古典的正規化技術と2段階トレーニングを組み合わせた重みバランスが提案されている。 トレーニング段階ごとの神経崩壊とコーン効果に着目して重量バランスを解析した。
  論文  参考訳（メタデータ） (2023-05-26T01:45:19Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)
• Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning [97.81549071978789]
  勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-04-19T08:23:23Z)
• Long-Tailed Recognition via Weight Balancing [66.03068252811993]
  ナイーブトレーニングは、より高い精度で一般的なクラスに偏ったモデルを生成する。 重みのバランス、L2-正規化、重みの崩壊、MaxNormの3つの手法について検討する。 提案手法は,5つの標準ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-03-27T03:26:31Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。