論文の概要: NCL++: Nested Collaborative Learning for Long-Tailed Visual Recognition
- arxiv url: http://arxiv.org/abs/2306.16709v1
- Date: Thu, 29 Jun 2023 06:10:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 14:39:05.024361
- Title: NCL++: Nested Collaborative Learning for Long-Tailed Visual Recognition
- Title（参考訳）: NCL++: 長距離視覚認識のためのNested Collaborative Learning
- Authors: Zichang Tan, Jun Li, Jinhao Du, Jun Wan, Zhen Lei, Guodong Guo
- Abstract要約: 本研究では,Nested Collaborative Learning (NCL++)を提案する。
長期学習における協調学習を実現するために,バランスの取れたオンライン蒸留を提案する。
混乱するカテゴリにおける細かな識別能力を改善するために,さらにハードカテゴリーマイニングを提案する。
- 参考スコア（独自算出の注目度）: 66.74535181151228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-tailed visual recognition has received increasing attention in recent
years. Due to the extremely imbalanced data distribution in long-tailed
learning, the learning process shows great uncertainties. For example, the
predictions of different experts on the same image vary remarkably despite the
same training settings. To alleviate the uncertainty, we propose a Nested
Collaborative Learning (NCL++) which tackles the long-tailed learning problem
by a collaborative learning. To be specific, the collaborative learning
consists of two folds, namely inter-expert collaborative learning (InterCL) and
intra-expert collaborative learning (IntraCL). In-terCL learns multiple experts
collaboratively and concurrently, aiming to transfer the knowledge among
different experts. IntraCL is similar to InterCL, but it aims to conduct the
collaborative learning on multiple augmented copies of the same image within
the single expert. To achieve the collaborative learning in long-tailed
learning, the balanced online distillation is proposed to force the consistent
predictions among different experts and augmented copies, which reduces the
learning uncertainties. Moreover, in order to improve the meticulous
distinguishing ability on the confusing categories, we further propose a Hard
Category Mining (HCM), which selects the negative categories with high
predicted scores as the hard categories. Then, the collaborative learning is
formulated in a nested way, in which the learning is conducted on not just all
categories from a full perspective but some hard categories from a partial
perspective. Extensive experiments manifest the superiority of our method with
outperforming the state-of-the-art whether with using a single model or an
ensemble. The code will be publicly released.
- Abstract（参考訳）: 近年,ロングテールの視覚認識が注目されている。
長期学習において極めて不均衡なデータ分布のため、学習プロセスは極めて不確実性を示す。
例えば、同じイメージ上の異なる専門家の予測は、同じトレーニング設定にもかかわらず、著しく異なる。
そこで,この不確実性を軽減するために,ncl++ (nested collaborative learning) を提案する。
具体的に言うと、協調学習は、専門家間協調学習(InterCL)と専門家間協調学習(IntraCL)の2つの折り返しからなる。
in-terclは複数の専門家が協力して同時に学び、異なる専門家の間で知識を伝達することを目指している。
イントラCLはInterCLと似ているが、単一の専門家内で同じイメージの複数の拡張コピーを共同で学習することを目的としている。
長期学習における協調学習を実現するため,異なる専門家と増補されたコピーの間で一貫した予測を強制するために,バランスの取れたオンライン蒸留を提案する。
さらに,混乱したカテゴリの注意深い識別能力を向上させるために,高い予測スコアを持つ負のカテゴリをハードカテゴリとして選択するハードカテゴリマイニング(hcm)を提案する。
そして、協調学習はネストされた方法で定式化され、学習は全視点からだけでなく、部分的な視点からいくつかの難しいカテゴリに対して行われる。
実験結果から, 一つのモデルやアンサンブルを用いても, 最先端の手法よりも優れた手法が得られた。
コードは公開される予定だ。
関連論文リスト
- Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels [27.53399899573121]
本稿では,強化学習の探索能力と教師あり学習の活用能力を組み合わせたRLベースのフレームワークを提案する。
文書レベルの関係抽出を含む各種タスクに対する実験結果から,フレームワークの一般化と有効性を示す。
論文 参考訳（メタデータ） (2024-06-24T03:36:19Z) - Learning More Generalized Experts by Merging Experts in Mixture-of-Experts [0.5221459608786241]
共有層をエキスパートの混合体に組み込むことで性能が低下する可能性があることを示す。
2つの最も頻度の高い専門家を合併し、最も頻度の低い専門家を専門家の組み合わせを使って更新します。
本アルゴリズムは,多領域タスクインクリメンタル学習に適用した場合に,伝達学習を強化し,破滅的な忘れを緩和する。
論文 参考訳（メタデータ） (2024-05-19T11:55:48Z) - Quiz-based Knowledge Tracing [61.9152637457605]
知識追跡は、学習相互作用に基づいて個人の進化する知識状態を評価することを目的としている。
QKTは、既存の方法と比較して最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-04-05T12:48:42Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳（メタデータ） (2022-12-24T11:02:35Z) - Contrastive Learning with Boosted Memorization [36.957895270908324]
自己教師付き学習は、視覚的およびテキスト的データの表現学習において大きな成功を収めた。
近年の自己指導型長期学習の試行は、損失視点やモデル視点の再バランスによって行われる。
本稿では,ラベルを意識しないコンテキストにおける長期学習を強化するために,新しいBCL法を提案する。
論文 参考訳（メタデータ） (2022-05-25T11:54:22Z) - Nested Collaborative Learning for Long-Tailed Visual Recognition [71.6074806468641]
NCLはNested Individual Learning (NIL)とNested Balanced Online Distillation (NBOD)の2つのコアコンポーネントから構成される。
表現をより徹底的に学習するために、NILとNBODはネストされた方法で定式化され、学習は全視点からだけでなく、部分的な視点からいくつかのハードなカテゴリに対して行われる。
NCLでは、2つの視点から学ぶことはネストされ、非常に関連があり、補完的であり、ネットワークがグローバルでロバストな特徴だけでなく、注意深く区別する能力も捉えるのに役立つ。
論文 参考訳（メタデータ） (2022-03-29T08:55:39Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳（メタデータ） (2020-10-22T20:45:10Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。