論文の概要: Rebalancing Multi-Label Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2408.12161v1
• Date: Thu, 22 Aug 2024 07:04:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 14:53:12.236003
• Title: Rebalancing Multi-Label Class-Incremental Learning
• Title（参考訳）: マルチラベルクラスインクリメンタルラーニングの再バランス
• Authors: Kaile Du, Yifan Zhou, Fan Lyu, Yuyang Li, Junzhou Xie, Yixi Shen, Fuyuan Hu, Guangcan Liu,
• Abstract要約: ロスレベルとラベルレベル(RebLL)の両方に対するリバランスフレームワークを提案する。 AKDは、分類損失における負ラベル学習を強調することにより、損失レベルでの再均衡を図る。 ORはラベルのリバランスのために設計されており、行方不明のクラスをオンラインに解放することで、元のクラス分布をメモリ内で復元する。
• 参考スコア（独自算出の注目度）: 17.921329790170265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-label class-incremental learning (MLCIL) is essential for real-world multi-label applications, allowing models to learn new labels while retaining previously learned knowledge continuously. However, recent MLCIL approaches can only achieve suboptimal performance due to the oversight of the positive-negative imbalance problem, which manifests at both the label and loss levels because of the task-level partial label issue. The imbalance at the label level arises from the substantial absence of negative labels, while the imbalance at the loss level stems from the asymmetric contributions of the positive and negative loss parts to the optimization. To address the issue above, we propose a Rebalance framework for both the Loss and Label levels (RebLL), which integrates two key modules: asymmetric knowledge distillation (AKD) and online relabeling (OR). AKD is proposed to rebalance at the loss level by emphasizing the negative label learning in classification loss and down-weighting the contribution of overconfident predictions in distillation loss. OR is designed for label rebalance, which restores the original class distribution in memory by online relabeling the missing classes. Our comprehensive experiments on the PASCAL VOC and MS-COCO datasets demonstrate that this rebalancing strategy significantly improves performance, achieving new state-of-the-art results even with a vanilla CNN backbone.
• Abstract（参考訳）: マルチラベルクラスインクリメンタルラーニング(MLCIL)は、実世界のマルチラベルアプリケーションにおいて必須であり、モデルが学習した知識を継続的に保持しながら新しいラベルを学習することができる。 しかし,近年のMLCIL手法は,タスクレベルの部分ラベル問題によりラベルレベルと損失レベルの両方に現れる正負の不均衡問題の過小評価のためのみ,最適性能を実現することができる。 ラベルレベルの不均衡は負のラベルの欠如から生じるが、損失レベルの不均衡は正と負の損失部分の非対称的な寄与から生じる。 上記の問題に対処するため、非対称知識蒸留(AKD)とオンラインレバリング(OR)の2つの主要なモジュールを統合したロスレベルとラベルレベル(RebLL)のリバランスフレームワークを提案する。 AKDは, 分類損失における負ラベル学習を強調し, 蒸留損失における過信予測の寄与を軽視することにより, 損失レベルでの再均衡を図ることを提案する。 ORはラベルのリバランスのために設計されており、行方不明のクラスをオンラインに解放することで、元のクラス分布をメモリ内で復元する。 PASCAL VOCとMS-COCOデータセットの総合的な実験により,バニラCNNバックボーンを用いた場合においても,この再バランス戦略がパフォーマンスを著しく向上することが示された。

関連論文リスト

• Confidence Self-Calibration for Multi-Label Class-Incremental Learning [21.104984143597882]
  MLCIL(Multi-Label Class-Incremental Learning)におけるラベルの課題は、トレーニング中に新しいクラスのみをラベル付けする場合に発生する。 この問題は、誤って高い信頼度を持つマルチラベル予測による偽陽性エラーの増大につながる。 MLCILのマルチラベル信頼度校正を改良するための信頼性自己校正(CSC)手法を提案する。
  論文  参考訳（メタデータ） (2024-03-19T09:14:52Z)
• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• PercentMatch: Percentile-based Dynamic Thresholding for Multi-Label Semi-Supervised Classification [64.39761523935613]
  トレーニング中の各クラスに対する正と負の擬似ラベルのスコア閾値を動的に変更するためのパーセンタイルベースのしきい値調整手法を提案する。 近年のSSL方式と比較して, Pascal VOC2007 と MS-COCO のデータセットの性能は高い。
  論文  参考訳（メタデータ） (2022-08-30T01:27:48Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• Phased Progressive Learning with Coupling-Regulation-Imbalance Loss for Imbalanced Classification [11.673344551762822]
  ディープニューラルネットワークは、一般に、異なるクラス間の量不均衡と分類困難の不均衡に苦しむデータセットで性能が良くない。 表象学習から上位クラス化学習への学習強調を円滑に伝達する段階的な進行学習スケジュールが提案された。 私たちのコードはまもなくオープンソースになります。
  論文  参考訳（メタデータ） (2022-05-24T14:46:39Z)
• Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning [80.05441565830726]
  本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。 本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。 不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
  論文  参考訳（メタデータ） (2021-06-10T11:58:25Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed Datasets [98.74153364118898]
  本稿では,長距離クラス分布を示す多ラベル認識問題に対して,分散ベース損失と呼ばれる新たな損失関数を提案する。 Distribution-Balanced Lossは、標準的なバイナリのクロスエントロピー損失に対する2つの重要な修正を通じて、これらの問題に取り組む。 パスカルVOCとCOCOの両方の実験により、この新しい損失関数で訓練されたモデルは、大幅な性能向上を達成できた。
  論文  参考訳（メタデータ） (2020-07-19T11:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。