論文の概要: Towards Effective Collaborative Learning in Long-Tailed Recognition
- arxiv url: http://arxiv.org/abs/2305.03378v1
- Date: Fri, 5 May 2023 09:16:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-08 14:39:44.881381
- Title: Towards Effective Collaborative Learning in Long-Tailed Recognition
- Title(参考訳): ロングテール認識における効果的な協調学習に向けて
- Authors: Zhengzhuo Xu and Zenghao Chai and Chengyin Xu and Chun Yuan and Haiqin
Yang
- Abstract要約: 現実世界のデータは通常、少数民族が著しく過小評価されている厳しい階級不均衡と長い尾の分布に悩まされる。
近年の研究では、マイノリティにおけるモデルの不確実性を緩和するために、マルチエキスパートアーキテクチャを利用するのが好ましい。
本稿では,クラス分布の観点から専門家間の知識伝達が不均衡であり,マイノリティクラスの性能改善が限定されていることを観察する。
- 参考スコア(独自算出の注目度): 16.202524991074416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world data usually suffers from severe class imbalance and long-tailed
distributions, where minority classes are significantly underrepresented
compared to the majority ones. Recent research prefers to utilize multi-expert
architectures to mitigate the model uncertainty on the minority, where
collaborative learning is employed to aggregate the knowledge of experts, i.e.,
online distillation. In this paper, we observe that the knowledge transfer
between experts is imbalanced in terms of class distribution, which results in
limited performance improvement of the minority classes. To address it, we
propose a re-weighted distillation loss by comparing two classifiers'
predictions, which are supervised by online distillation and label annotations,
respectively. We also emphasize that feature-level distillation will
significantly improve model performance and increase feature robustness.
Finally, we propose an Effective Collaborative Learning (ECL) framework that
integrates a contrastive proxy task branch to further improve feature quality.
Quantitative and qualitative experiments on four standard datasets demonstrate
that ECL achieves state-of-the-art performance and the detailed ablation
studies manifest the effectiveness of each component in ECL.
- Abstract(参考訳): 実世界のデータは通常、過度な階級不均衡と長い尾の分布に悩まされ、少数派は多数派に比べて著しく過小評価されている。
近年の研究では、専門家の知識、すなわちオンライン蒸留を集約するために協調学習が用いられるマイノリティにおけるモデルの不確実性を緩和するために、マルチエキスパートアーキテクチャを利用するのが好ましい。
本稿では,クラス分布の観点から専門家間の知識伝達が不均衡であり,マイノリティクラスの性能改善が限定されていることを観察する。
そこで本研究では,オンライン蒸留とラベルアノテーションによる2つの分類器の予測を比較して,再加重蒸留損失を提案する。
また, 機能レベルの蒸留はモデル性能を著しく向上し, 機能的堅牢性を高めることも強調した。
最後に,機能品質をさらに向上させるために,対照的なプロキシタスクブランチを統合する効果的な協調学習(ecl)フレームワークを提案する。
4つの標準データセットの定量的および定性的な実験により、ECLが最先端の性能を達成し、詳細なアブレーション研究により、ECLの各コンポーネントの有効性が示された。
関連論文リスト
- Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Revisiting Knowledge Distillation under Distribution Shift [7.796685962570969]
本研究では, 流通シフトに対する知識蒸留のメカニズムについて検討する。
本稿では,2つの一般分布シフトに対して知識蒸留をベンチマークするための統一的かつ体系的な枠組みを提案する。
分布シフト下での教育成績の低さを興味深い観察で明らかにした。
論文 参考訳(メタデータ) (2023-12-25T10:43:31Z) - The Staged Knowledge Distillation in Video Classification: Harmonizing
Student Progress by a Complementary Weakly Supervised Framework [21.494759678807686]
ビデオ分類における知識蒸留のための弱教師付き学習フレームワークを提案する。
本手法は,サブステージ学習の概念を利用して,学生のサブステージの組み合わせと,それに対応するサブステージの相関に基づく知識を抽出する。
提案手法は,ビデオデータに対するラベル効率学習の今後の研究の可能性を秘めている。
論文 参考訳(メタデータ) (2023-07-11T12:10:42Z) - Sharpness & Shift-Aware Self-Supervised Learning [17.978849280772092]
自己教師付き学習は、より下流のタスクのためにラベルのないデータから意味のある特徴を抽出することを目的としている。
我々は、この分類タスクの一般的な損失に暗黙的に影響を及ぼす要因を実現するために厳密な理論を開発する。
我々は,我々の理論的な知見を検証し,鋭さとシフトアウェアなコントラスト学習が性能を著しく向上させることを示すため,広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-05-17T14:42:16Z) - Unbiased and Efficient Self-Supervised Incremental Contrastive Learning [31.763904668737304]
本稿では,新たなIncremental InfoNCE(NCE-II)損失関数からなる自己教師型Incremental Contrastive Learning(ICL)フレームワークを提案する。
ICLは最大16.7倍のトレーニングスピードアップと16.8倍の高速収束を実現している。
論文 参考訳(メタデータ) (2023-01-28T06:11:31Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳(メタデータ) (2020-11-01T18:47:51Z) - Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。
CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-07-17T15:50:34Z) - Spectrum-Guided Adversarial Disparity Learning [52.293230153385124]
本稿では,新たなエンド・ツー・エンドの知識指向学習フレームワークを提案する。
2つの競合符号化分布を用いてクラス条件付きクラス内不一致を表現し、学習された不一致を識別することで精製された潜伏符号を学習する。
4つのHARベンチマークデータセットに対する実験により,提案手法の頑健性と,最先端の手法による一般化が実証された。
論文 参考訳(メタデータ) (2020-07-14T05:46:27Z) - Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。
私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
論文 参考訳(メタデータ) (2020-04-07T20:57:44Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。