論文の概要: Towards Effective Collaborative Learning in Long-Tailed Recognition

• arxiv url: http://arxiv.org/abs/2305.03378v1
• Date: Fri, 5 May 2023 09:16:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 14:39:44.881381
• Title: Towards Effective Collaborative Learning in Long-Tailed Recognition
• Title（参考訳）: ロングテール認識における効果的な協調学習に向けて
• Authors: Zhengzhuo Xu and Zenghao Chai and Chengyin Xu and Chun Yuan and Haiqin Yang
• Abstract要約: 現実世界のデータは通常、少数民族が著しく過小評価されている厳しい階級不均衡と長い尾の分布に悩まされる。 近年の研究では、マイノリティにおけるモデルの不確実性を緩和するために、マルチエキスパートアーキテクチャを利用するのが好ましい。 本稿では,クラス分布の観点から専門家間の知識伝達が不均衡であり,マイノリティクラスの性能改善が限定されていることを観察する。
• 参考スコア（独自算出の注目度）: 16.202524991074416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world data usually suffers from severe class imbalance and long-tailed distributions, where minority classes are significantly underrepresented compared to the majority ones. Recent research prefers to utilize multi-expert architectures to mitigate the model uncertainty on the minority, where collaborative learning is employed to aggregate the knowledge of experts, i.e., online distillation. In this paper, we observe that the knowledge transfer between experts is imbalanced in terms of class distribution, which results in limited performance improvement of the minority classes. To address it, we propose a re-weighted distillation loss by comparing two classifiers' predictions, which are supervised by online distillation and label annotations, respectively. We also emphasize that feature-level distillation will significantly improve model performance and increase feature robustness. Finally, we propose an Effective Collaborative Learning (ECL) framework that integrates a contrastive proxy task branch to further improve feature quality. Quantitative and qualitative experiments on four standard datasets demonstrate that ECL achieves state-of-the-art performance and the detailed ablation studies manifest the effectiveness of each component in ECL.
• Abstract（参考訳）: 実世界のデータは通常、過度な階級不均衡と長い尾の分布に悩まされ、少数派は多数派に比べて著しく過小評価されている。 近年の研究では、専門家の知識、すなわちオンライン蒸留を集約するために協調学習が用いられるマイノリティにおけるモデルの不確実性を緩和するために、マルチエキスパートアーキテクチャを利用するのが好ましい。 本稿では,クラス分布の観点から専門家間の知識伝達が不均衡であり,マイノリティクラスの性能改善が限定されていることを観察する。 そこで本研究では,オンライン蒸留とラベルアノテーションによる2つの分類器の予測を比較して,再加重蒸留損失を提案する。 また, 機能レベルの蒸留はモデル性能を著しく向上し, 機能的堅牢性を高めることも強調した。 最後に,機能品質をさらに向上させるために,対照的なプロキシタスクブランチを統合する効果的な協調学習(ecl)フレームワークを提案する。 4つの標準データセットの定量的および定性的な実験により、ECLが最先端の性能を達成し、詳細なアブレーション研究により、ECLの各コンポーネントの有効性が示された。

関連論文リスト

• Enhancing Knowledge Distillation of Large Language Models through Efficient Multi-Modal Distribution Alignment [10.104085497265004]
  本稿では,教師モデルと学生モデルとのピーク予測の整合性を促進するために,ランキング損失に基づく知識蒸留(RLKD)を提案する。 提案手法は,教師モデルのマルチモーダル分布をよりよく学習し,様々な下流タスクにおいて顕著な性能向上をもたらす。
  論文  参考訳（メタデータ） (2024-09-19T08:06:42Z)
• CLIP-CID: Efficient CLIP Distillation via Cluster-Instance Discrimination [28.061239778773423]
  CLIP(Contrastive Language- Image Pre-Training)は、幅広いタスクにおいて優れたパフォーマンスを実現している。 CLIPは事前学習データのかなりのコーパスに大きく依存しており、計算資源を消費している。 CLIP-CID(CLIP-CID)は,大規模視覚言語基礎モデルからより小さなモデルへ知識を効果的に伝達する蒸留機構である。
  論文  参考訳（メタデータ） (2024-08-18T11:23:21Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Revisiting Knowledge Distillation under Distribution Shift [7.796685962570969]
  本研究では, 流通シフトに対する知識蒸留のメカニズムについて検討する。 本稿では,2つの一般分布シフトに対して知識蒸留をベンチマークするための統一的かつ体系的な枠組みを提案する。 分布シフト下での教育成績の低さを興味深い観察で明らかにした。
  論文  参考訳（メタデータ） (2023-12-25T10:43:31Z)
• Unbiased and Efficient Self-Supervised Incremental Contrastive Learning [31.763904668737304]
  本稿では,新たなIncremental InfoNCE(NCE-II)損失関数からなる自己教師型Incremental Contrastive Learning(ICL)フレームワークを提案する。 ICLは最大16.7倍のトレーニングスピードアップと16.8倍の高速収束を実現している。
  論文  参考訳（メタデータ） (2023-01-28T06:11:31Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
  エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。 CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-17T15:50:34Z)
• Spectrum-Guided Adversarial Disparity Learning [52.293230153385124]
  本稿では,新たなエンド・ツー・エンドの知識指向学習フレームワークを提案する。 2つの競合符号化分布を用いてクラス条件付きクラス内不一致を表現し、学習された不一致を識別することで精製された潜伏符号を学習する。 4つのHARベンチマークデータセットに対する実験により,提案手法の頑健性と,最先端の手法による一般化が実証された。
  論文  参考訳（メタデータ） (2020-07-14T05:46:27Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。