Fugu-MT 論文翻訳(概要): Task-Agnostic Federated Continual Learning via Replay-Free Gradient Projection

論文の概要: Task-Agnostic Federated Continual Learning via Replay-Free Gradient Projection

arxiv url: http://arxiv.org/abs/2509.21606v1
Date: Thu, 25 Sep 2025 21:20:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-29 20:57:54.026307
Title: Task-Agnostic Federated Continual Learning via Replay-Free Gradient Projection
Title（参考訳）: Replay-free Gradient Projectionによるタスク非依存型連続学習
Authors: Seohyeon Cha, Huancheng Chen, Haris Vikalo,
Abstract要約: フェデレートされた連続学習(FCL)により、分散クライアントデバイスは、多様で進化するタスクにわたるストリーミングデータから学習することができる。タスク識別予測(FedProTIP)を用いた連立勾配予測型連続学習を提案する。このフレームワークは、クライアントのアップデートをグローバルモデルの以前に学習された表現によって分散されたサブスペースの補空間に投影することで、忘れを軽減します。
参考スコア（独自算出の注目度）: 23.99793728516052
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Federated continual learning (FCL) enables distributed client devices to learn from streaming data across diverse and evolving tasks. A major challenge to continual learning, catastrophic forgetting, is exacerbated in decentralized settings by the data heterogeneity, constrained communication and privacy concerns. We propose Federated gradient Projection-based Continual Learning with Task Identity Prediction (FedProTIP), a novel FCL framework that mitigates forgetting by projecting client updates onto the orthogonal complement of the subspace spanned by previously learned representations of the global model. This projection reduces interference with earlier tasks and preserves performance across the task sequence. To further address the challenge of task-agnostic inference, we incorporate a lightweight mechanism that leverages core bases from prior tasks to predict task identity and dynamically adjust the global model's outputs. Extensive experiments across standard FCL benchmarks demonstrate that FedProTIP significantly outperforms state-of-the-art methods in average accuracy, particularly in settings where task identities are a priori unknown.
Abstract（参考訳）: フェデレートされた連続学習(FCL)により、分散クライアントデバイスは、多様で進化するタスクにわたるストリーミングデータから学習することができる。継続的な学習に対する大きな課題は、破滅的な忘れことであり、データの不均一性、制約のあるコミュニケーション、プライバシーに関する懸念によって、分散化された設定で悪化している。本稿では,FedProTIP(Continuous Learning with Task Identity Prediction, FedProTIP)を提案する。FedProTIPは,クライアント更新をグローバルモデルの以前に学習された表現によって拡張された部分空間の直交補空間に投影することで,忘れを緩和する新しいFCLフレームワークである。このプロジェクションは、以前のタスクとの干渉を減らし、タスクシーケンス全体のパフォーマンスを維持する。タスク非依存推論の課題をさらに解決するために,従来のタスクのコアベースを活用し,タスクの同一性を予測し,グローバルモデルの出力を動的に調整する,軽量なメカニズムを取り入れた。標準FCLベンチマークによる大規模な実験により、FedProTIPは平均的精度で、特にタスクのアイデンティティが不明な環境では、最先端のメソッドを著しく上回っていることが示された。

関連論文リスト

Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
論文参考訳（メタデータ） (2025-08-06T09:03:10Z)
Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
論文参考訳（メタデータ） (2025-06-23T18:17:39Z)
Improving Generalization in Heterogeneous Federated Continual Learning via Spatio-Temporal Gradient Matching with Prototypical Coreset [4.1751318268724384]
本稿では、クライアントが無関係あるいは矛盾するデータやタスクを持つ、より実践的で挑戦的なFederated Continual Learning設定について検討する。既存のFCLアプローチでは、しばしば生成的リプレイを使用して、以前のタスクの擬似データセットを作成する。これらの課題に対処するため,ネットワークフリーなプロトタイプ (STAMP) を用いたspatio-Temporal grAdient Matching という新しい手法を提案する。
論文参考訳（メタデータ） (2025-05-22T18:26:51Z)
Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
論文参考訳（メタデータ） (2025-04-09T17:59:42Z)
Federated Continual Instruction Tuning [39.344583304181135]
フェデレートラーニング(FL)は、すべての分散データとトレーニングリソースを活用して、共同トレーニングのオーバーヘッドを軽減する可能性がある。本稿では,この実世界の課題をモデル化するために,FCIT(Federated Continual Instruction Tuning)ベンチマークを導入する。
論文参考訳（メタデータ） (2025-03-17T07:58:06Z)
Model Predictive Task Sampling for Efficient and Robust Adaptation [46.92143725900031]
本稿では,タスク空間と適応リスクランドスケープを橋渡しするフレームワークとして,モデル予測タスクサンプリング(MPTS)を紹介する。 MPTSは、エピソード最適化プロセスの特徴付けに生成モデルを使用し、後部推論によりタスク固有の適応リスクを予測する。 MPTSはゼロショット、少数ショット、教師付き微調整設定にシームレスに統合される。
論文参考訳（メタデータ） (2025-01-19T13:14:53Z)
Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文参考訳（メタデータ） (2024-07-11T10:35:53Z)
Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
論文参考訳（メタデータ） (2024-04-20T02:30:21Z)
FedEGG: Federated Learning with Explicit Global Guidance [90.04705121816185]
フェデレートラーニング(FL)は、そのプライバシー保護の性質から、多様なアプリケーションにとって大きな可能性を秘めている。既存の手法は、最適化ベースのクライアント制約、適応的なクライアント選択、事前訓練されたモデルや合成データの使用によってこれらの課題に対処するのに役立つ。我々はbftextFedEGGを提案する。bftextFedEGGは、よく定義された、容易に収束できる学習タスクを用いて、グローバルガイドタスクを構築する新しいFLアルゴリズムである。
論文参考訳（メタデータ） (2024-04-18T04:25:21Z)
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-09-15T17:10:51Z)
Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach [14.674494335647841]
本稿では,タスク非依存およびタスク特化学習に介入するCLのための2段階学習パラダイムを提案する。我々のトレーニングパラダイムは、メモリや正規化に基づくアプローチに簡単に追加できることを示します。
論文参考訳（メタデータ） (2022-07-13T15:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。