論文の概要: NCL++: Nested Collaborative Learning for Long-Tailed Visual Recognition
- arxiv url: http://arxiv.org/abs/2306.16709v1
- Date: Thu, 29 Jun 2023 06:10:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 14:39:05.024361
- Title: NCL++: Nested Collaborative Learning for Long-Tailed Visual Recognition
- Title(参考訳): NCL++: 長距離視覚認識のためのNested Collaborative Learning
- Authors: Zichang Tan, Jun Li, Jinhao Du, Jun Wan, Zhen Lei, Guodong Guo
- Abstract要約: 本研究では,Nested Collaborative Learning (NCL++)を提案する。
長期学習における協調学習を実現するために,バランスの取れたオンライン蒸留を提案する。
混乱するカテゴリにおける細かな識別能力を改善するために,さらにハードカテゴリーマイニングを提案する。
- 参考スコア(独自算出の注目度): 66.74535181151228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-tailed visual recognition has received increasing attention in recent
years. Due to the extremely imbalanced data distribution in long-tailed
learning, the learning process shows great uncertainties. For example, the
predictions of different experts on the same image vary remarkably despite the
same training settings. To alleviate the uncertainty, we propose a Nested
Collaborative Learning (NCL++) which tackles the long-tailed learning problem
by a collaborative learning. To be specific, the collaborative learning
consists of two folds, namely inter-expert collaborative learning (InterCL) and
intra-expert collaborative learning (IntraCL). In-terCL learns multiple experts
collaboratively and concurrently, aiming to transfer the knowledge among
different experts. IntraCL is similar to InterCL, but it aims to conduct the
collaborative learning on multiple augmented copies of the same image within
the single expert. To achieve the collaborative learning in long-tailed
learning, the balanced online distillation is proposed to force the consistent
predictions among different experts and augmented copies, which reduces the
learning uncertainties. Moreover, in order to improve the meticulous
distinguishing ability on the confusing categories, we further propose a Hard
Category Mining (HCM), which selects the negative categories with high
predicted scores as the hard categories. Then, the collaborative learning is
formulated in a nested way, in which the learning is conducted on not just all
categories from a full perspective but some hard categories from a partial
perspective. Extensive experiments manifest the superiority of our method with
outperforming the state-of-the-art whether with using a single model or an
ensemble. The code will be publicly released.
- Abstract(参考訳): 近年,ロングテールの視覚認識が注目されている。
長期学習において極めて不均衡なデータ分布のため、学習プロセスは極めて不確実性を示す。
例えば、同じイメージ上の異なる専門家の予測は、同じトレーニング設定にもかかわらず、著しく異なる。
そこで,この不確実性を軽減するために,ncl++ (nested collaborative learning) を提案する。
具体的に言うと、協調学習は、専門家間協調学習(InterCL)と専門家間協調学習(IntraCL)の2つの折り返しからなる。
in-terclは複数の専門家が協力して同時に学び、異なる専門家の間で知識を伝達することを目指している。
イントラCLはInterCLと似ているが、単一の専門家内で同じイメージの複数の拡張コピーを共同で学習することを目的としている。
長期学習における協調学習を実現するため,異なる専門家と増補されたコピーの間で一貫した予測を強制するために,バランスの取れたオンライン蒸留を提案する。
さらに,混乱したカテゴリの注意深い識別能力を向上させるために,高い予測スコアを持つ負のカテゴリをハードカテゴリとして選択するハードカテゴリマイニング(hcm)を提案する。
そして、協調学習はネストされた方法で定式化され、学習は全視点からだけでなく、部分的な視点からいくつかの難しいカテゴリに対して行われる。
実験結果から, 一つのモデルやアンサンブルを用いても, 最先端の手法よりも優れた手法が得られた。
コードは公開される予定だ。
関連論文リスト
- Quiz-based Knowledge Tracing [61.9152637457605]
知識追跡は、学習相互作用に基づいて個人の進化する知識状態を評価することを目的としている。
QKTは、既存の方法と比較して最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-04-05T12:48:42Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳(メタデータ) (2022-12-24T11:02:35Z) - Leveraging Different Learning Styles for Improved Knowledge Distillation
in Biomedical Imaging [0.9208007322096533]
我々の研究は知識多様化の概念を活用して、知識蒸留(KD)や相互学習(ML)といったモデル圧縮技術の性能を向上させる。
我々は,教師から学生(KD)への知識伝達を可能にすると同時に,学生(ML)間の協調学習を促進する統一的な枠組みで,一教師と二学生のネットワークを利用する。
教師が学生ネットワークと予測や特徴表現の形で同じ知識を共有する従来の手法とは異なり,提案手法では,教師の予測と特徴マップの学習により,より多様化した戦略を採用する。
論文 参考訳(メタデータ) (2022-12-06T12:40:45Z) - EEML: Ensemble Embedded Meta-learning [5.9514420658483935]
本稿では,事前知識を多種多様な専門家に整理するために,マルチモデルアンサンブルを明示的に活用する組込みメタ学習アルゴリズム(EEML)を提案する。
トレーニングプロセスのエキスパートに多様なタスクを提供し、テストフェーズで専門家がどのように協力するかを指示するために、クラスタメカニズムを組み込むタスクに依存しています。
実験結果から,提案手法は,最近の最先端技術に優れることが示された。
論文 参考訳(メタデータ) (2022-06-18T12:37:17Z) - Contrastive Learning with Boosted Memorization [36.957895270908324]
自己教師付き学習は、視覚的およびテキスト的データの表現学習において大きな成功を収めた。
近年の自己指導型長期学習の試行は、損失視点やモデル視点の再バランスによって行われる。
本稿では,ラベルを意識しないコンテキストにおける長期学習を強化するために,新しいBCL法を提案する。
論文 参考訳(メタデータ) (2022-05-25T11:54:22Z) - Nested Collaborative Learning for Long-Tailed Visual Recognition [71.6074806468641]
NCLはNested Individual Learning (NIL)とNested Balanced Online Distillation (NBOD)の2つのコアコンポーネントから構成される。
表現をより徹底的に学習するために、NILとNBODはネストされた方法で定式化され、学習は全視点からだけでなく、部分的な視点からいくつかのハードなカテゴリに対して行われる。
NCLでは、2つの視点から学ぶことはネストされ、非常に関連があり、補完的であり、ネットワークがグローバルでロバストな特徴だけでなく、注意深く区別する能力も捉えるのに役立つ。
論文 参考訳(メタデータ) (2022-03-29T08:55:39Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳(メタデータ) (2020-10-22T20:45:10Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。