論文の概要: Balanced Knowledge Distillation for Long-tailed Learning

• arxiv url: http://arxiv.org/abs/2104.10510v1
• Date: Wed, 21 Apr 2021 13:07:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 14:23:56.649307
• Title: Balanced Knowledge Distillation for Long-tailed Learning
• Title（参考訳）: 長期学習のためのバランス付き知識蒸留
• Authors: Shaoyu Zhang, Chen Chen, Xiyuan Hu, Silong Peng
• Abstract要約: 長尾データセットで訓練されたディープモデルは、テールクラスで不十分なパフォーマンスを示す。 既存の手法は通常、テールクラスへの学習焦点を増やすために分類損失を変更する。 両目標間の矛盾を解消し,両目標を同時に達成するためにバランスド知識蒸留を提案する。
• 参考スコア（独自算出の注目度）: 9.732397447057318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep models trained on long-tailed datasets exhibit unsatisfactory performance on tail classes. Existing methods usually modify the classification loss to increase the learning focus on tail classes, which unexpectedly sacrifice the performance on head classes. In fact, this scheme leads to a contradiction between the two goals of long-tailed learning, i.e., learning generalizable representations and facilitating learning for tail classes. In this work, we explore knowledge distillation in long-tailed scenarios and propose a novel distillation framework, named Balanced Knowledge Distillation (BKD), to disentangle the contradiction between the two goals and achieve both simultaneously. Specifically, given a vanilla teacher model, we train the student model by minimizing the combination of an instance-balanced classification loss and a class-balanced distillation loss. The former benefits from the sample diversity and learns generalizable representation, while the latter considers the class priors and facilitates learning mainly for tail classes. The student model trained with BKD obtains significant performance gain even compared with its teacher model. We conduct extensive experiments on several long-tailed benchmark datasets and demonstrate that the proposed BKD is an effective knowledge distillation framework in long-tailed scenarios, as well as a new state-of-the-art method for long-tailed learning. Code is available at https://github.com/EricZsy/BalancedKnowledgeDistillation .
• Abstract（参考訳）: 長い尾のデータセットでトレーニングされたディープモデルは、テールクラスで不満足なパフォーマンスを示す。 既存のメソッドは通常、末尾クラスへの学習焦点を増加させるために分類損失を変更し、予期せぬヘッドクラスのパフォーマンスを犠牲にする。 実際、このスキームは、ロングテール学習の2つの目標、すなわち一般化可能な表現の学習とテールクラスの学習の促進の間に矛盾をもたらす。 本研究では,長期のシナリオにおける知識蒸留を探求し,両目標間の矛盾を解消し,同時に達成するための新しい蒸留枠組みであるバランスド知識蒸留(BKD)を提案する。 具体的には、バニラ教師モデルに基づき、インスタンスバランスの分類損失とクラスバランスの蒸留損失の組合せを最小化して学生モデルを訓練する。 前者はサンプルの多様性から恩恵を受け、一般化可能な表現を学ぶが、後者はクラスの優先順位を考慮し、主に尾クラスの学習を容易にする。 BKDで訓練した学生モデルは、教師モデルと比較して大きなパフォーマンス向上が得られる。 提案したBKDが,長期学習のための新しい最先端手法であるとともに,長期学習シナリオにおける効果的な知識蒸留フレームワークであることを示す。 コードはhttps://github.com/EricZsy/BalancedKnowledgeDistillationで入手できる。

関連論文リスト

• A dual-branch model with inter- and intra-branch contrastive loss for long-tailed recognition [7.225494453600985]
  長い尾のデータセットで訓練されたモデルは、テールクラスへの適応性が低く、決定境界は曖昧である。 我々は,不均衡学習枝と対照学習枝(CoLB)を含む,単純で効果的なDual-Branch Long-Tailed Recognition (DB-LTR)を提案する。 CoLBは、テールクラスに適応する際のモデルの能力を改善し、不均衡な学習ブランチを支援して、よく表現された特徴空間と識別的決定境界を学習する。
  論文  参考訳（メタデータ） (2023-09-28T03:31:11Z)
• Class-aware Information for Logit-based Knowledge Distillation [16.634819319915923]
  そこで本研究では,ロジット蒸留をインスタンスレベルとクラスレベルの両方で拡張する,クラス対応ロジット知識蒸留法を提案する。 CLKDにより、教師モデルからより高度な意味情報を模倣し、蒸留性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T09:27:50Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Long-tailed Recognition by Learning from Latent Categories [70.6272114218549]
  本稿ではLatent Categories based long-tail Recognition (LCReg)法を提案する。 具体的には、頭と尾のクラス間で共有されるクラスに依存しない潜在機能群を学習する。 次に、潜在機能に意味データ拡張を適用することで、トレーニングサンプルの多様性を暗黙的に強化する。
  論文  参考訳（メタデータ） (2022-06-02T12:19:51Z)
• Contrastive Learning with Boosted Memorization [36.957895270908324]
  自己教師付き学習は、視覚的およびテキスト的データの表現学習において大きな成功を収めた。 近年の自己指導型長期学習の試行は、損失視点やモデル視点の再バランスによって行われる。 本稿では,ラベルを意識しないコンテキストにおける長期学習を強化するために,新しいBCL法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:54:22Z)
• Improving Tail-Class Representation with Centroid Contrastive Learning [145.73991900239017]
  本稿では,長い尾を持つ表現学習を改善するために,補間型セントロイドコントラスト学習(ICCL)を提案する。 ICCLは、クラス別サンプルとクラス別サンプルの2つの画像を補間し、ICCLの表現が両方のソースクラスのセントロイドを取得するために使用されるようにモデルを訓練する。 我々の結果は、現実世界の長い尾の分布を持つiNaturalist 2018データセットで2.8%の精度向上を示した。
  論文  参考訳（メタデータ） (2021-10-19T15:24:48Z)
• Self Supervision to Distillation for Long-Tailed Visual Recognition [34.29744530188875]
  我々は,ラベル相関を長期認識のための多段階学習手法に組み込むための強力な手法として,ソフトラベルが有効であることを示す。 具体的には、概念的にシンプルであるが、特に有効である多段階トレーニングスキームを、自監督蒸留(SSD)と呼ぶ。 提案手法は,ImageNet-LT, CIFAR100-LT, iist 2018の3つの長尾認識ベンチマークに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-09-09T07:38:30Z)
• Class-Balanced Distillation for Long-Tailed Visual Recognition [100.10293372607222]
  実世界のイメージはしばしばクラスごとの画像数の著しい不均衡によって特徴づけられ、ロングテール分布に繋がる。 本研究では、インスタンスサンプリングで学習した特徴表現が長尾設定では最適とは程遠いという重要な観察を行うことで、新しいフレームワークを提案する。 我々の主な貢献は、知識蒸留を利用して特徴表現を強化する新しい訓練方法である。
  論文  参考訳（メタデータ） (2021-04-12T08:21:03Z)
• Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
  我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。 複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。 RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
  論文  参考訳（メタデータ） (2020-10-05T06:53:44Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。