論文の概要: Catastrophic Forgetting Resilient One-Shot Incremental Federated Learning

• arxiv url: http://arxiv.org/abs/2602.17625v1
• Date: Thu, 19 Feb 2026 18:44:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:29.392477
• Title: Catastrophic Forgetting Resilient One-Shot Incremental Federated Learning
• Title（参考訳）: 耐弾力のあるワンショットインクリメンタル・フェデレーション・ラーニングのカタストロフィック
• Authors: Obaidullah Zaland, Zulfiqar Ahmad Khan, Monowar Bhuyan,
• Abstract要約: 本稿では,通信オーバーヘッドと破滅的忘れという2つの課題に対処する最初のFLフレームワークであるOne-Shot Incremental Federated Learning (OSI-FL)を提案する。 OSI-FLは、各クライアントからの凍結視覚言語モデル(VLM)によって考案されたカテゴリ固有の埋め込みを単一の通信ラウンドで通信する。 SSR(Selective Sample Retention, SSR)を用いて, カテゴリー別, タスクペア別において, 最上位のサンプルを特定し, 保持する訓練を増強する。
• 参考スコア（独自算出の注目度）: 3.4263731151809593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern big-data systems generate massive, heterogeneous, and geographically dispersed streams that are large-scale and privacy-sensitive, making centralization challenging. While federated learning (FL) provides a privacy-enhancing training mechanism, it assumes a static data flow and learns a collaborative model over multiple rounds, making learning with \textit{incremental} data challenging in limited-communication scenarios. This paper presents One-Shot Incremental Federated Learning (OSI-FL), the first FL framework that addresses the dual challenges of communication overhead and catastrophic forgetting. OSI-FL communicates category-specific embeddings, devised by a frozen vision-language model (VLM) from each client in a single communication round, which a pre-trained diffusion model at the server uses to synthesize new data similar to the client's data distribution. The synthesized samples are used on the server for training. However, two challenges still persist: i) tasks arriving incrementally need to retrain the global model, and ii) as future tasks arrive, retraining the model introduces catastrophic forgetting. To this end, we augment training with Selective Sample Retention (SSR), which identifies and retains the top-p most informative samples per category and task pair based on sample loss. SSR bounds forgetting by ensuring that representative retained samples are incorporated into training in further iterations. The experimental results indicate that OSI-FL outperforms baselines, including traditional and one-shot FL approaches, in both class-incremental and domain-incremental scenarios across three benchmark datasets.
• Abstract（参考訳）: 現代のビッグデータシステムは、大規模でプライバシーに敏感な巨大な、異質で、地理的に分散したストリームを生成し、中央集権化を困難にしている。 FL(Federated Learning)は、プライバシ強化トレーニングメカニズムを提供する一方で、静的なデータフローを前提として、複数のラウンドでコラボレーティブモデルを学ぶことにより、限定的なコミュニケーションシナリオにおいて、‘textit{incremental}データによる学習を難しくする。 本稿では,通信オーバーヘッドと破滅的忘れという2つの課題に対処する最初のFLフレームワークであるOne-Shot Incremental Federated Learning (OSI-FL)を提案する。 OSI-FLは、各クライアントからの凍結視覚言語モデル(VLM)によって考案されたカテゴリ固有の埋め込みを単一の通信ラウンドで通信する。 合成サンプルはサーバ上でトレーニングに使用される。 しかし、依然として2つの課題が続いている。 一 グローバルモデルを再訓練する必要のある業務 二 将来の課題が到来すると、モデルの再訓練は破滅的な忘れを生じさせる。 この目的のために,SSR(Selective Sample Retention)によるトレーニングを増強し,サンプル損失に基づいて,カテゴリごとの最も情報性の高いサンプルとタスクペアを識別し,保持する。 SSRは、代表的な保持サンプルが更なるイテレーションでトレーニングに組み込まれることを保証することで、忘れることを禁じている。 実験の結果,OSI-FLは3つのベンチマークデータセットのクラスインクリメンタルシナリオとドメインインクリメンタルシナリオの両方において,従来のFLアプローチやワンショットFLアプローチを含むベースラインよりも優れていた。

関連論文リスト

• Fed-REACT: Federated Representation Learning for Heterogeneous and Evolving Data [19.33095080645165]
  Fed-REACTは、異種および進化するクライアントデータ用に設計されたフェデレート学習フレームワークである。 本稿では,表現学習段階の理論解析を行い,実世界のデータセットにおいてFed-REACTが優れた精度とロバスト性を達成することを実証した。
  論文  参考訳（メタデータ） (2025-09-08T20:24:40Z)
• Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
  時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。 既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。 本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
  論文  参考訳（メタデータ） (2024-11-24T04:56:45Z)
• Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
  我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。 FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。 実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-16T19:18:06Z)
• Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics [20.781607752797445]
  特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。 最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。 第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
  論文  参考訳（メタデータ） (2024-03-13T09:24:59Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Exploring One-shot Semi-supervised Federated Learning with A Pre-trained Diffusion Model [40.83058938096914]
  我々は,フェデレート拡散にインスパイアされた半教師付き協調学習法であるFedDISCを提案する。 まず、ラベル付きサーバデータのプロトタイプを抽出し、これらのプロトタイプを用いてクライアントデータの擬似ラベルを予測する。 各カテゴリについて、クラスタセントロイドとドメイン固有の表現を計算し、それらの分布のセマンティックおよびスタイリスティックな情報を表す。 これらの表現はサーバに送信され、事前にトレーニングされたデータを使用して、クライアントの分布に応じて合成データセットを生成し、その上でグローバルモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-05-06T14:22:33Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。