論文の概要: Few-Shot Class-Incremental Learning with Non-IID Decentralized Data

• arxiv url: http://arxiv.org/abs/2409.11657v1
• Date: Wed, 18 Sep 2024 02:48:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 19:19:53.410260
• Title: Few-Shot Class-Incremental Learning with Non-IID Decentralized Data
• Title（参考訳）: 非IID分散データを用いたクラスインクリメンタル学習
• Authors: Cuiwei Liu, Siang Xu, Huaijun Qiu, Jing Zhang, Zhi Liu, Liang Zhao,
• Abstract要約: スケーラブルで適応的なインテリジェントなシステムを開発するには、クラスインクリメンタルな学習が不可欠だ。 本稿では、分散機械学習パラダイムであるフェデレートされた数発のクラスインクリメンタルラーニングを紹介する。 本稿では,リプレイバッファデータを利用して既存の知識を維持し,新たな知識の獲得を促進する合成データ駆動フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.472285188772544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot class-incremental learning is crucial for developing scalable and adaptive intelligent systems, as it enables models to acquire new classes with minimal annotated data while safeguarding the previously accumulated knowledge. Nonetheless, existing methods deal with continuous data streams in a centralized manner, limiting their applicability in scenarios that prioritize data privacy and security. To this end, this paper introduces federated few-shot class-incremental learning, a decentralized machine learning paradigm tailored to progressively learn new classes from scarce data distributed across multiple clients. In this learning paradigm, clients locally update their models with new classes while preserving data privacy, and then transmit the model updates to a central server where they are aggregated globally. However, this paradigm faces several issues, such as difficulties in few-shot learning, catastrophic forgetting, and data heterogeneity. To address these challenges, we present a synthetic data-driven framework that leverages replay buffer data to maintain existing knowledge and facilitate the acquisition of new knowledge. Within this framework, a noise-aware generative replay module is developed to fine-tune local models with a balance of new and replay data, while generating synthetic data of new classes to further expand the replay buffer for future tasks. Furthermore, a class-specific weighted aggregation strategy is designed to tackle data heterogeneity by adaptively aggregating class-specific parameters based on local models performance on synthetic data. This enables effective global model optimization without direct access to client data. Comprehensive experiments across three widely-used datasets underscore the effectiveness and preeminence of the introduced framework.
• Abstract（参考訳）: モデルがそれまで蓄積した知識を保護しながら、最小限の注釈付きデータで新しいクラスを取得できるようにするため、スケーラブルで適応的なインテリジェントなシステムを開発するには、クラスインクリメンタルな学習が不可欠である。 それでも、既存のメソッドは、データプライバシとセキュリティを優先するシナリオにおける適用性を制限し、集中的な方法で継続的データストリームを扱う。 そこで本研究では,複数のクライアントに分散する不足データから,新たなクラスを段階的に学習する分散型機械学習パラダイムである,フェデレートされたクラスインクリメンタルラーニングを提案する。 この学習パラダイムでは、クライアントはデータプライバシを保持しながらモデルを新しいクラスでローカルに更新し、モデル更新を中央サーバに送信し、グローバルに集約する。 しかし、このパラダイムは、少数ショット学習の難しさ、破滅的な忘れ込み、データの異質性など、いくつかの問題に直面している。 これらの課題に対処するため,既存の知識を維持し,新たな知識の獲得を促進するために,リプレイバッファデータを活用する合成データ駆動フレームワークを提案する。 このフレームワーク内では、新しいデータと再生データのバランスを保ったローカルモデルを微調整し、新しいクラスの合成データを生成し、将来のタスクのためにリプレイバッファをさらに拡張するノイズ対応生成再生モジュールが開発されている。 さらに,クラス固有のパラメータを局所モデルの性能に基づいて適応的に集約することで,データ不均一性に取り組むために,クラス固有の重み付け戦略を設計する。 これにより、クライアントデータに直接アクセスすることなく、効果的なグローバルモデル最適化が可能になる。 広く使われている3つのデータセットにわたる総合的な実験は、導入したフレームワークの有効性と優位性を示している。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
  ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。 本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。 FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory [36.4406505365313]
  本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。 生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
  論文  参考訳（メタデータ） (2023-07-02T07:06:45Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• Continual Learning with Optimal Transport based Mixture Model [17.398605698033656]
  成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。 提案手法は,現在の最先端のベースラインを大きく上回ることができる。
  論文  参考訳（メタデータ） (2022-11-30T06:40:29Z)
• Class Impression for Data-free Incremental Learning [20.23329169244367]
  ディープラーニングベースの分類アプローチでは、事前にすべてのクラスからすべてのサンプルを収集し、オフラインでトレーニングする必要がある。 このパラダイムは、新しいデータの追加によって新しいクラスが徐々に導入される現実世界の臨床応用では実用的ではないかもしれない。 本稿では,従来のクラスでトレーニングされたモデルからデータを初めて合成し,本クラスを生成する,新しいデータ自由クラスインクリメンタルラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-26T06:20:17Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Information-Theoretic Bounds on the Generalization Error and Privacy Leakage in Federated Learning [96.38757904624208]
  モバイルネットワーク上の機械学習アルゴリズムは、3つのカテゴリに分類される。 この研究の主な目的は、前述のすべての学習パラダイムに対する情報理論のフレームワークを提供することである。
  論文  参考訳（メタデータ） (2020-05-05T21:23:45Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。