論文の概要: AIR: Analytic Imbalance Rectifier for Continual Learning

• arxiv url: http://arxiv.org/abs/2408.10349v1
• Date: Mon, 19 Aug 2024 18:42:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 18:03:34.451373
• Title: AIR: Analytic Imbalance Rectifier for Continual Learning
• Title（参考訳）: AIR: 連続学習のための解析的不均衡整流器
• Authors: Di Fang, Yinan Zhu, Runze Fang, Cen Chen, Ziqian Zeng, Huiping Zhuang,
• Abstract要約: 継続的な学習により、AIモデルは現実世界のシナリオを再トレーニングすることなく、シーケンシャルに新しいデータを学習することができる。 既存のほとんどの手法では、トレーニングデータはバランスが取れていると仮定しており、モデルが以前に生成されたデータを忘れる傾向にある問題を減らそうとしている。 この問題を解決するために解析的不均衡アルゴリズム(AIR)を提案する。
• 参考スコア（独自算出の注目度）: 16.917778190250353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning enables AI models to learn new data sequentially without retraining in real-world scenarios. Most existing methods assume the training data are balanced, aiming to reduce the catastrophic forgetting problem that models tend to forget previously generated data. However, data imbalance and the mixture of new and old data in real-world scenarios lead the model to ignore categories with fewer training samples. To solve this problem, we propose an analytic imbalance rectifier algorithm (AIR), a novel online exemplar-free continual learning method with an analytic (i.e., closed-form) solution for data-imbalanced class-incremental learning (CIL) and generalized CIL scenarios in real-world continual learning. AIR introduces an analytic re-weighting module (ARM) that calculates a re-weighting factor for each class for the loss function to balance the contribution of each category to the overall loss and solve the problem of imbalanced training data. AIR uses the least squares technique to give a non-discriminatory optimal classifier and its iterative update method in continual learning. Experimental results on multiple datasets show that AIR significantly outperforms existing methods in long-tailed and generalized CIL scenarios. The source code is available at https://github.com/fang-d/AIR.
• Abstract（参考訳）: 継続的な学習により、AIモデルは現実世界のシナリオを再トレーニングすることなく、シーケンシャルに新しいデータを学習することができる。 既存のほとんどの手法では、トレーニングデータはバランスが取れていると仮定しており、モデルが以前に生成されたデータを忘れる傾向にある破滅的な忘れの問題を減らすことを目的としている。 しかし、データ不均衡と、現実のシナリオにおける新しいデータと古いデータの混在は、モデルのトレーニングサンプルの少ないカテゴリを無視します。 そこで本研究では,データ不均衡型クラスインクリメンタルラーニング(CIL)と一般化型CILシナリオを対象とした解析的(クローズドフォーム)なオンライン非定型連続学習手法であるAIRを提案する。 AIRは分析的再重み付けモジュール(ARM)を導入し、損失関数の各クラスに対する再重み付け係数を計算し、各カテゴリの全体的な損失への貢献をバランスさせ、不均衡なトレーニングデータの問題を解決する。 AIRは最小二乗法を用いて、非識別的最適分類器とその反復的更新法を連続学習に与えている。 複数のデータセットの実験結果から、AIRは長い尾と一般化されたCILシナリオで既存のメソッドよりも大幅に優れています。 ソースコードはhttps://github.com/fang-d/AIRで公開されている。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning [13.836798036474143]
  Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。 本研究では拡散モデルに基づく新しいデータ再生手法を提案する。 我々の手法は既存のベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2024-09-02T10:07:24Z)
• Online Analytic Exemplar-Free Continual Learning with Large Models for Imbalanced Autonomous Driving Task [25.38082751323396]
  AEF-OCL (Analytic Exemplar-Free Online Continual Learning Algorithm) を提案する。 AEF-OCLは解析的連続学習原理を活用し、大きなバックボーンネットワークによって抽出された特徴の分類器としてリッジ回帰を用いる。 実験結果から, 自動走行SODA10Mデータセットにおいて, 提案手法は, 既往の戦略であるにもかかわらず, 様々な手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-28T03:19:15Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Deep Regression Unlearning [6.884272840652062]
  我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。 我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
  論文  参考訳（メタデータ） (2022-10-15T05:00:20Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data [8.115323786541078]
  モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。 回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
  論文  参考訳（メタデータ） (2021-09-14T10:22:21Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)
• Self-Adaptive Training: beyond Empirical Risk Minimization [15.59721834388181]
  余分な計算コストを伴わずにモデル予測により問題ラベルを動的に補正する新しいトレーニングアルゴリズムを提案する。 自己適応型トレーニングは、様々なレベルのノイズに対する一般化を著しく改善し、自然と敵対両方のトレーニングにおいて過度に適合する問題を緩和する。 CIFARとImageNetデータセットの実験は、我々のアプローチの有効性を2つのアプリケーションで検証する。
  論文  参考訳（メタデータ） (2020-02-24T15:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。