論文の概要: Towards Macro-AUC oriented Imbalanced Multi-Label Continual Learning

• arxiv url: http://arxiv.org/abs/2412.18231v1
• Date: Tue, 24 Dec 2024 07:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:54:32.145019
• Title: Towards Macro-AUC oriented Imbalanced Multi-Label Continual Learning
• Title（参考訳）: Macro-AUC指向のマルチラベル連続学習に向けて
• Authors: Yan Zhang, Guoqiang Wu, Bingzheng Wang, Teng Pang, Haoliang Sun, Yilong Yin,
• Abstract要約: 継続学習(CL)においては、既存の研究は主にマルチクラス分類タスクに焦点を当てているが、MLL(Multi-Label Learning)の研究は限られている。 本稿では,マクロAUC指向MLCLの不均衡問題に対処するメモリリプレイ方式を提案する。
• 参考スコア（独自算出の注目度）: 32.7137109236055
• License:
• Abstract: In Continual Learning (CL), while existing work primarily focuses on the multi-class classification task, there has been limited research on Multi-Label Learning (MLL). In practice, MLL datasets are often class-imbalanced, making it inherently challenging, a problem that is even more acute in CL. Due to its sensitivity to imbalance, Macro-AUC is an appropriate and widely used measure in MLL. However, there is no research to optimize Macro-AUC in MLCL specifically. To fill this gap, in this paper, we propose a new memory replay-based method to tackle the imbalance issue for Macro-AUC-oriented MLCL. Specifically, inspired by recent theory work, we propose a new Reweighted Label-Distribution-Aware Margin (RLDAM) loss. Furthermore, to be compatible with the RLDAM loss, a new memory-updating strategy named Weight Retain Updating (WRU) is proposed to maintain the numbers of positive and negative instances of the original dataset in memory. Theoretically, we provide superior generalization analyses of the RLDAM-based algorithm in terms of Macro-AUC, separately in batch MLL and MLCL settings. This is the first work to offer theoretical generalization analyses in MLCL to our knowledge. Finally, a series of experimental results illustrate the effectiveness of our method over several baselines. Our codes are available at https://github.com/ML-Group-SDU/Macro-AUC-CL.
• Abstract（参考訳）: 継続学習(CL)では、既存の研究は主にマルチクラス分類タスクに焦点を当てているが、MLL(Multi-Label Learning)の研究は限られている。 実際には、MLLデータセットは、しばしばクラス不均衡であり、CLでさらに深刻な問題である本質的に困難である。 不均衡に対する感受性のため、マクロAUCはMLLにおいて適切かつ広く用いられる尺度である。 しかし、MLCLでマクロAUCを最適化する研究は特にない。 このギャップを埋めるために,Macro-AUC指向MLCLの不均衡問題に対処するメモリリプレイ方式を提案する。 具体的には、最近の理論研究に触発されて、新たにReweighted Label-Distribution-Aware Margin(RLDAM)損失を提案する。 さらに、LDAM損失に対応するため、メモリ内の元のデータセットの正および負のインスタンス数を維持するために、Weight Retain Updating (WRU)と呼ばれる新しいメモリ更新戦略が提案されている。 理論的には、バッチMLLとMLCL設定を別々に行うことにより、マクロAUCの観点からRLDAMベースのアルゴリズムのより優れた一般化分析を提供する。 MLCLの理論的一般化解析を私たちの知識に提供したのはこれが初めてである。 最後に, 一連の実験結果から, 提案手法が複数のベースライン上で有効であることを示す。 私たちのコードはhttps://github.com/ML-Group-SDU/Macro-AUC-CLで公開されています。

関連論文リスト

• Improved Diversity-Promoting Collaborative Metric Learning for Recommendation [127.08043409083687]
  CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。 本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。 textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T07:44:48Z)
• Towards Understanding Generalization of Macro-AUC in Multi-label Learning [48.015768048227166]
  マクロAUCに基づく各種学習アルゴリズムの一般化特性を特徴付ける。 一般化境界に影響を及ぼすデータセットの臨界因子を同定する。 我々は、独立性を持つかもしれない新しい(そしてより一般的な)マクダイアルミド型濃度不等式を提案する。
  論文  参考訳（メタデータ） (2023-05-09T08:13:48Z)
• Learning in Imperfect Environment: Multi-Label Classification with Long-Tailed Distribution and Partial Labels [53.68653940062605]
  新しいタスク, 部分ラベリングとLong-Tailed Multi-Label Classification (PLT-MLC) を導入する。 その結果,ほとんどのLT-MLCとPL-MLCは劣化MLCの解決に失敗していることがわかった。 textbfCOrrection $rightarrow$ textbfModificattextbfIon $rightarrow$ balantextbfCe。
  論文  参考訳（メタデータ） (2023-04-20T20:05:08Z)
• Sharp-MAML: Sharpness-Aware Model-Agnostic Meta Learning [71.26635165491105]
  我々はシャープ・MAMLと呼ぶシャープネスを意識したMAMLアプローチを開発した。 Sharp-MAMLとその計算効率が,既存のMAMLベースラインより優れていることを実証的に実証した。 これは、二段階学習の文脈において、シャープネスを意識した最小化に関する最初の経験的および理論的研究である。
  論文  参考訳（メタデータ） (2022-06-08T16:20:11Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Revisiting Training Strategies and Generalization Performance in Deep Metric Learning [28.54755295856929]
  我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。 一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。 これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
  論文  参考訳（メタデータ） (2020-02-19T22:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。