論文の概要: DOLFIN: Balancing Stability and Plasticity in Federated Continual Learning
- arxiv url: http://arxiv.org/abs/2510.13567v1
- Date: Wed, 15 Oct 2025 14:07:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-16 20:13:28.694943
- Title: DOLFIN: Balancing Stability and Plasticity in Federated Continual Learning
- Title(参考訳): DOLFIN:Federated Continual Learningにおける安定性と塑性のバランス
- Authors: Omayma Moussadek, Riccardo Salami, Simone Calderara,
- Abstract要約: フェデレートされた連続学習により、モデルは複数のクライアントで新しいタスクを学習できる。
現在の手法では、パフォーマンス、プライバシー保護、通信効率のバランスのとれた課題に直面している。
本稿では,フェデレートインクリメンタルラーニング手法DOLFINのための分散オンラインロラを提案する。
- 参考スコア(独自算出の注目度): 12.491329964886177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated continual learning (FCL) enables models to learn new tasks across multiple distributed clients, protecting privacy and without forgetting previously acquired knowledge. However, current methods face challenges balancing performance, privacy preservation, and communication efficiency. We introduce a Distributed Online LoRA for Federated INcremental learning method DOLFIN, a novel approach combining Vision Transformers with low-rank adapters designed to efficiently and stably learn new tasks in federated environments. Our method leverages LoRA for minimal communication overhead and incorporates DualGradient Projection Memory (DualGPM) to prevent forgetting. Evaluated on CIFAR-100, ImageNet-R, ImageNet-A, and CUB-200 under two Dirichlet heterogeneity settings, DOLFIN consistently surpasses six strong baselines in final average accuracy while matching their memory footprint. Orthogonal low-rank adapters offer an effective and scalable solution for privacy-preserving continual learning in federated settings.
- Abstract(参考訳): フェデレートされた連続学習(FCL)は、複数の分散クライアント間で新しいタスクを学習し、プライバシを保護し、以前取得した知識を忘れることなく、モデルが新しいタスクを学習できるようにする。
しかし、現在の手法では、性能、プライバシー保護、通信効率のバランスのとれた課題に直面している。
本稿では,フェデレートインクリメンタルラーニング手法DOLFINのための分散オンラインロラを提案する。この手法は,ビジョントランスフォーマーと低ランクアダプタを組み合わせることで,フェデレーション環境における新しいタスクを効率よく安定的に学習する。
本手法では,LoRAを最小限の通信オーバヘッドに利用し,DualGPM(DualGradient Projection Memory)を組み込んで,忘れの防止を図る。
CIFAR-100、ImageNet-R、ImageNet-A、CUB-200を2つのディリクレの不均一性設定で評価し、DOLFINはメモリフットプリントをマッチングしながら、最終的な平均精度で6つの強いベースラインを一貫して上回っている。
直交低ランクアダプタは、フェデレートされた環境でのプライバシー保護継続学習のための効果的でスケーラブルなソリューションを提供する。
関連論文リスト
- Providing Differential Privacy for Federated Learning Over Wireless: A Cross-layer Framework [19.381425127772054]
Federated Learning(FL)は、エッジデバイスがローカルなトレーニングデータを維持することができる分散機械学習フレームワークである。
本稿では,分散化された動的電力制御により差分プライバシ(DP)を改善するOTA-FLの無線物理層(PHY)設計を提案する。
この適応は、異なる学習アルゴリズム間で設計の柔軟性と有効性を示しながら、プライバシに強く重点を置いています。
論文 参考訳(メタデータ) (2024-12-05T18:27:09Z) - Efficient Federated Unlearning with Adaptive Differential Privacy Preservation [15.8083997286637]
フェデレーション・アンラーニング(FU)は、フェデレーション・ラーニング(FL)における、特定のクライアントのデータがグローバルモデルに与える影響を消し去るための有望なソリューションを提供する。
現在の最先端のFUメソッドは、保存された履歴更新を活用することで、従来のFLフレームワークを拡張している。
FUにおける効率性とプライバシ保護の両立を図ったFedADPを提案する。
論文 参考訳(メタデータ) (2024-11-17T11:45:15Z) - Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。
近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。
DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文 参考訳(メタデータ) (2024-11-01T14:28:39Z) - Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning [67.95280175998792]
ビームフォーミング,スペクトルアロケーション,リモートユーザ機器(RUE)アソシエイトを最適化するために,GAILを利用した新しいポリシー学習手法を提案する。
手動チューニングなしで報酬関数を自動的に学習するために、逆RL(IRL)を用いる。
提案手法は従来のRL手法よりも優れており,コンバージェンスと報酬値の14.6%の改善が達成されている。
論文 参考訳(メタデータ) (2024-09-27T13:05:02Z) - FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳(メタデータ) (2024-05-20T06:12:33Z) - DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。
差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
論文 参考訳(メタデータ) (2024-05-10T10:10:37Z) - Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。
無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。
本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
論文 参考訳(メタデータ) (2024-04-20T02:30:21Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳(メタデータ) (2021-06-20T13:51:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。