論文の概要: Teacher's pet: understanding and mitigating biases in distillation

• arxiv url: http://arxiv.org/abs/2106.10494v1
• Date: Sat, 19 Jun 2021 13:06:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:24:54.386579
• Title: Teacher's pet: understanding and mitigating biases in distillation
• Title（参考訳）: 教師のペット:蒸留におけるバイアスの理解と緩和
• Authors: Michal Lukasik and Srinadh Bhojanapalli and Aditya Krishna Menon and Sanjiv Kumar
• Abstract要約: いくつかの研究により、蒸留によって学生の全体的なパフォーマンスが著しく向上することが示されている。 しかし、これらのゲインはすべてのデータサブグループに均一なのでしょうか? 蒸留が特定の部分群の性能に悪影響を及ぼすことを示す。 信頼性の低いサブグループに対して,教師の影響を和らげる手法を提案する。
• 参考スコア（独自算出の注目度）: 61.44867470297283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation is widely used as a means of improving the performance of a relatively simple student model using the predictions from a complex teacher model. Several works have shown that distillation significantly boosts the student's overall performance; however, are these gains uniform across all data subgroups? In this paper, we show that distillation can harm performance on certain subgroups, e.g., classes with few associated samples. We trace this behaviour to errors made by the teacher distribution being transferred to and amplified by the student model. To mitigate this problem, we present techniques which soften the teacher influence for subgroups where it is less reliable. Experiments on several image classification benchmarks show that these modifications of distillation maintain boost in overall accuracy, while additionally ensuring improvement in subgroup performance.
• Abstract（参考訳）: 知識蒸留は, 複雑な教師モデルからの予測を用いて, 比較的単純な学生モデルの性能を向上させる手段として広く用いられている。 いくつかの研究は、蒸留が学生の全体的なパフォーマンスを著しく向上させることを示したが、これらの利益はすべてのデータサブグループで均一か? 本稿では, 蒸留が特定の部分群(例えば, 関連サンプルが少ないクラス)のパフォーマンスに影響を及ぼすことを示す。 この行動は,教師分布が生徒モデルによって伝達,増幅されるエラーに追従する。 この問題を軽減するため,教師の信頼度が低いサブグループに対して,教師の影響を和らげる手法を提案する。 いくつかの画像分類ベンチマークの実験では、これらの蒸留の改質は全体の精度を向上し、サブグループ性能の向上も保証されている。

関連論文リスト

• Adaptive Group Robust Ensemble Knowledge Distillation [6.4989916051093815]
  適応型グループロバスト・アンサンブル知識蒸留(AGRE-KD)を提案する。 本手法は, バイアスモデルから逸脱した傾き方向の教師を重み付けすることで, 最低性能のサブグループを改善するための知識を持つ教師を選択的に選択する。
  論文  参考訳（メタデータ） (2024-11-22T14:44:51Z)
• What is Left After Distillation? How Knowledge Transfer Impacts Fairness and Bias [1.03590082373586]
  クラスの41%は、クラス単位の精度を比較する際に、蒸留によって統計的に有意な影響を受けている。 本研究は, あるクラスに対する知識蒸留の不均一な影響と, その公正性における潜在的役割を明らかにする。
  論文  参考訳（メタデータ） (2024-10-10T22:43:00Z)
• Logit Standardization in Knowledge Distillation [83.31794439964033]
  教師と学生の共用温度の仮定は、ロジット範囲と分散の点で、ロジット間の厳密な一致を暗示している。 温度をロジットの重み付け標準偏差として設定し、ロジット標準化のプラグアンドプレイZスコア前処理を実行することを提案する。 我々の前処理により、学生はマグニチュードマッチを必要とせず、教師の本質的なロジット関係に集中することができ、既存のロジットベースの蒸留法の性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-03-03T07:54:03Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
  蒸留した学生の一般化行動について検討する。 この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。 オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
  論文  参考訳（メタデータ） (2023-01-28T16:34:47Z)
• Robust Distillation for Worst-class Performance [38.80008602644002]
  我々は,学生の最低級のパフォーマンス向上に適した蒸留技術を開発した。 我々は,我々の頑健な蒸留技術が最悪の性能を向上させることを実証的に示す。 私たちは、堅牢な学生のトレーニングを目標とするときに、良い教師を何にするかについて、洞察を与えます。
  論文  参考訳（メタデータ） (2022-06-13T21:17:00Z)
• Unified and Effective Ensemble Knowledge Distillation [92.67156911466397]
  知識蒸留は、複数の教師モデルから知識を抽出し、それを1人の学生モデルにエンコードする。 既存の多くの手法は、ラベル付きデータのみに基づいて学生モデルを学習し、蒸留する。 本研究では,教師モデルのアンサンブルから,ラベル付きデータとラベルなしデータの両方から単一学生モデルを蒸留する,統一的で効果的なアンサンブル知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T16:15:39Z)
• Why distillation helps: a statistical perspective [69.90148901064747]
  知識蒸留は、単純な「学生」モデルの性能を向上させる技術である。 この単純なアプローチは広く有効であることが証明されているが、基本的な問題は未解決のままである。 蒸留が既存の負の鉱業技術をどのように補完し, 極端に多層的検索を行うかを示す。
  論文  参考訳（メタデータ） (2020-05-21T01:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。