論文の概要: CILIATE: Towards Fairer Class-based Incremental Learning by Dataset and Training Refinement

• arxiv url: http://arxiv.org/abs/2304.04222v1
• Date: Sun, 9 Apr 2023 12:10:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 17:03:14.955560
• Title: CILIATE: Towards Fairer Class-based Incremental Learning by Dataset and Training Refinement
• Title（参考訳）: CILIATE: データセットとトレーニングリファインメントによるより公平なクラスベースのインクリメンタルラーニングを目指して
• Authors: Xuanqi Gao, Juan Zhai, Shiqing Ma, Chao Shen, Yufei Chen, Shiwei Wang
• Abstract要約: 我々は、CILがデータセットとアルゴリズムのバイアスの両方に悩まされていることを示す。 本稿では,CILにおけるデータセットとアルゴリズムバイアスを両立させる新しいフレームワークCILIATEを提案する。 CILIATEは最先端の手法と比較してCILの公正性を17.03%、22.46%、31.79%改善している。
• 参考スコア（独自算出の注目度）: 20.591583747291892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the model aging problem, Deep Neural Networks (DNNs) need updates to adjust them to new data distributions. The common practice leverages incremental learning (IL), e.g., Class-based Incremental Learning (CIL) that updates output labels, to update the model with new data and a limited number of old data. This avoids heavyweight training (from scratch) using conventional methods and saves storage space by reducing the number of old data to store. But it also leads to poor performance in fairness. In this paper, we show that CIL suffers both dataset and algorithm bias problems, and existing solutions can only partially solve the problem. We propose a novel framework, CILIATE, that fixes both dataset and algorithm bias in CIL. It features a novel differential analysis guided dataset and training refinement process that identifies unique and important samples overlooked by existing CIL and enforces the model to learn from them. Through this process, CILIATE improves the fairness of CIL by 17.03%, 22.46%, and 31.79% compared to state-of-the-art methods, iCaRL, BiC, and WA, respectively, based on our evaluation on three popular datasets and widely used ResNet models.
• Abstract（参考訳）: モデル老化の問題のため、Deep Neural Networks(DNN)は新しいデータ分散に調整するために更新が必要である。 一般的なプラクティスは、インクリメンタルラーニング(IL)、例えば、出力ラベルを更新するクラスベースのインクリメンタルラーニング(CIL)を活用して、新しいデータと限られた古いデータでモデルを更新する。 これにより、従来の方法で(スクラッチから)重いトレーニングを回避し、保存する古いデータの数を減らしてストレージスペースを節約できる。 しかし、これは公平なパフォーマンスの低下にもつながります。 本稿では,cilがデータセット問題とアルゴリズムバイアス問題の両方に苦しむことを示し,既存の解は部分的にしか解決できないことを示す。 本稿では,CILにおけるデータセットとアルゴリズムバイアスを両立させる新しいフレームワークCILIATEを提案する。 既存のcilが見落としているユニークで重要なサンプルを特定し、それらから学ぶようにモデルを強制する、新しい差分解析ガイドデータセットとトレーニングリファインメントプロセスが特徴だ。 このプロセスを通じて、CILIATEは3つの一般的なデータセットと広く使用されているResNetモデルの評価に基づいて、最先端の手法であるiCaRL、BiC、WAと比較して、CILの公平性を17.03%、22.46%、31.79%改善する。

関連論文リスト

• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• CLIP: Train Faster with Less Data [3.2575001434344286]
  ディープラーニングモデルは、トレーニングに膨大な量のデータを必要とします。 近年、機械学習はモデル中心のアプローチからデータ中心のアプローチへとシフトしている。 CLIP(CLIP, Curriculum Learning with Iterative data Pruning)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T21:29:48Z)
• Augmented Bilinear Network for Incremental Multi-Stock Time-Series Classification [83.23129279407271]
  本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。 本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。 この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
  論文  参考訳（メタデータ） (2022-07-23T18:54:10Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• Does Data Repair Lead to Fair Models? Curating Contextually Fair Data To Reduce Model Bias [10.639605996067534]
  コンテキスト情報は、より優れた表現を学び、精度を向上させるために、ディープニューラルネットワーク(DNN)にとって貴重なキューである。 COCOでは、多くの対象カテゴリーは、男性よりも男性の方がはるかに高い共起性を持ち、男性に有利なDNNの予測を偏見を与える可能性がある。 本研究では, 変動係数を用いたデータ修復アルゴリズムを導入し, 保護されたクラスに対して, 公平かつ文脈的にバランスの取れたデータをキュレートする。
  論文  参考訳（メタデータ） (2021-10-20T06:00:03Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• ClaRe: Practical Class Incremental Learning By Remembering Previous Class Representations [9.530976792843495]
  クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。 ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。 ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
  論文  参考訳（メタデータ） (2021-03-29T10:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。