論文の概要: Large-Small Model Collaborative Framework for Federated Continual Learning

• arxiv url: http://arxiv.org/abs/2508.09489v1
• Date: Wed, 13 Aug 2025 04:49:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.760966
• Title: Large-Small Model Collaborative Framework for Federated Continual Learning
• Title（参考訳）: 連立学習のための大規模モデル協調フレームワーク
• Authors: Hao Yu, Xin Yang, Boyang Fan, Xuemei Cao, Hanlin Gu, Lixin Fan, Qiang Yang,
• Abstract要約: ファンデーションモデル(FM)のための継続的学習(CL)は不可欠だが、未調査の課題である。 我々はFCL(Federated Continual Learning)において、軽量なローカルモデルが動的ブリッジとして機能する最初の協調フレームワークを提案する。 Small Model Continual Fine-tuningは、小さなモデルの時間的忘れを防ぐためのもので、One-by-One Distillationはサーバ上で不均一なローカル知識を個別に融合する。
• 参考スコア（独自算出の注目度）: 20.05022827987955
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Continual learning (CL) for Foundation Models (FMs) is an essential yet underexplored challenge, especially in Federated Continual Learning (FCL), where each client learns from a private, evolving task stream under strict data and communication constraints. Despite their powerful generalization abilities, FMs often exhibit suboptimal performance on local downstream tasks, as they are unable to utilize private local data. Furthermore, enabling FMs to learn new tasks without forgetting prior knowledge is inherently a challenging problem, primarily due to their immense parameter count and high model complexity. In contrast, small models can be trained locally under resource-constrained conditions and benefit from more mature CL techniques. To bridge the gap between small models and FMs, we propose the first collaborative framework in FCL, where lightweight local models act as a dynamic bridge, continually adapting to new tasks while enhancing the utility of the large model. Two novel components are also included: Small Model Continual Fine-tuning is for preventing small models from temporal forgetting; One-by-One Distillation performs personalized fusion of heterogeneous local knowledge on the server. Experimental results demonstrate its superior performance, even when clients utilize heterogeneous small models.
• Abstract（参考訳）: ファンデーションモデル(FM)のための継続的学習(CL)は、特にFCL(Federated Continual Learning)では、厳密なデータと通信制約の下で、各クライアントがプライベートで進化するタスクストリームから学習する。 その強力な一般化能力にもかかわらず、FMは、プライベートなローカルデータを利用できないため、しばしば、ローカル下流タスクに最適なパフォーマンスを示す。 さらに、FMが事前の知識を忘れずに新しいタスクを学習できるようにすることは、主に膨大なパラメータ数と高いモデル複雑さのために、本質的に難しい問題である。 対照的に、小さなモデルはリソース制約のある条件下でローカルに訓練することができ、より成熟したCL技術から恩恵を受けることができる。 小型モデルとFMのギャップを埋めるために,軽量ローカルモデルが動的ブリッジとして機能し,大規模モデルの実用性を高めつつ,新たなタスクに継続的に適応する,FCLにおける最初の協調フレームワークを提案する。 Small Model Continual Fine-tuningは、小さなモデルの時間的忘れを防ぐためのものであり、One-by-One Distillationはサーバ上で不均一なローカル知識を個別に融合する。 実験結果から, クライアントが不均一な小型モデルを利用する場合であっても, 優れた性能を示す。

関連論文リスト

• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Exploring Parameter-Efficient Fine-Tuning to Enable Foundation Models in Federated Learning [12.839398408791778]
  フェデレートラーニング(FL)は、ローカルデバイス上の生データに一元的にアクセスすることなく、モデルの協調的なトレーニングを可能にするための、有望なパラダイムとして登場した。 最近の最先端の事前訓練モデルは、より有能になりつつ、より多くのパラメータを持ち、"Foundation Models"として知られている。 FLでこれらの強力で手軽に利用できる事前訓練モデルが、通信負荷を同時に軽減しつつ、優れた性能を達成するためのソリューションを見つけることができるだろうか? 具体的には,FedPEFTの性能を,クライアントの安定性,データ分散,プライバシ設定の違いによって体系的に評価する。
  論文  参考訳（メタデータ） (2022-10-04T16:08:54Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。