論文の概要: Vertical Federated Continual Learning via Evolving Prototype Knowledge
- arxiv url: http://arxiv.org/abs/2502.09152v1
- Date: Thu, 13 Feb 2025 10:29:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-14 13:50:43.503961
- Title: Vertical Federated Continual Learning via Evolving Prototype Knowledge
- Title（参考訳）: プロトタイプ知識の進化による垂直的フェデレーション連続学習
- Authors: Shuo Wang, Keke Gai, Jing Yu, Liehuang Zhu, Qi Wu,
- Abstract要約: 本稿では,進化型プロトタイプ知識(V-LETO)を用いた垂直連合型連続学習という,新しい垂直連合型連続学習手法を提案する。
具体的には,グローバルモデルにおいて,従来のタスク知識と現在のタスク知識の両方を維持可能なプロトタイプ知識手法を提案する。
CIL設定とFIL設定の両方で実施した実験は、我々の手法であるV-LETOが他の最先端手法よりも優れていることを示した。
- 参考スコア（独自算出の注目度）: 28.145178141161658
- License:
- Abstract: Vertical Federated Learning (VFL) has garnered significant attention as a privacy-preserving machine learning framework for sample-aligned feature federation. However, traditional VFL approaches do not address the challenges of class and feature continual learning, resulting in catastrophic forgetting of knowledge from previous tasks. To address the above challenge, we propose a novel vertical federated continual learning method, named Vertical Federated Continual Learning via Evolving Prototype Knowledge (V-LETO), which primarily facilitates the transfer of knowledge from previous tasks through the evolution of prototypes. Specifically, we propose an evolving prototype knowledge method, enabling the global model to retain both previous and current task knowledge. Furthermore, we introduce a model optimization technique that mitigates the forgetting of previous task knowledge by restricting updates to specific parameters of the local model, thereby enhancing overall performance. Extensive experiments conducted in both CIL and FIL settings demonstrate that our method, V-LETO, outperforms the other state-of-the-art methods. For example, our method outperforms the state-of-the-art method by 10.39% and 35.15% for CIL and FIL tasks, respectively. Our code is available at https://anonymous.4open.science/r/V-LETO-0108/README.md.
- Abstract（参考訳）: Vertical Federated Learning (VFL)は、サンプル整列機能フェデレーションのためのプライバシ保護機械学習フレームワークとして、大きな注目を集めている。
しかしながら、従来のVFLアプローチは、クラスと特徴の連続学習の課題に対処せず、その結果、過去のタスクから知識を破滅的に忘れてしまう。
このような課題に対処するため,本研究では,プロトタイプの進化を通じて,従来のタスクからの知識の伝達を容易にする,垂直連合型連続学習法であるVertical Federated Continual Learning(V-LETO)を提案する。
具体的には,グローバルモデルにおいて,従来のタスク知識と現在のタスク知識の両方を維持可能なプロトタイプ知識手法を提案する。
さらに,局所モデルの特定のパラメータの更新を制限することにより,従来のタスク知識の忘れを軽減し,全体的な性能を向上させるモデル最適化手法を提案する。
CILとFILの両方で実施した大規模な実験により、我々の手法であるV-LETOは、他の最先端手法よりも優れていることが示された。
例えば,本手法は,CILタスクとFILタスクでそれぞれ10.39%,35.15%,最先端手法よりも優れていた。
私たちのコードはhttps://anonymous.4open.science/r/V-LETO-0108/README.mdで公開されています。
関連論文リスト
- Accurate Forgetting for Heterogeneous Federated Continual Learning [89.08735771893608]
提案手法は,フェデレーションネットワークにおける従来の知識を選択的に活用する新しい生成再生手法である。
我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。
論文 参考訳（メタデータ） (2025-02-20T02:35:17Z) - Vertical Federated Unlearning via Backdoor Certification [15.042986414487922]
VFLは機械学習における新しいパラダイムを提供し、データプライバシを維持しながら、異なるエンティティが協力してモデルをトレーニングできるようにする。
最近のプライバシー規制では、個人が忘れられる権利を強調しており、モデルが特定のトレーニングデータを学習する能力を必要としている。
本稿では,従来のVFLに対して,特定のデータコントリビューションを抽出する目的で,典型的な学習軌跡を逆転させる機構を取り入れた革新的な修正を導入する。
論文 参考訳（メタデータ） (2024-12-16T06:40:25Z) - Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。
Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。
提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文 参考訳（メタデータ） (2024-11-11T07:36:19Z) - KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。
KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。
新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。
その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
論文 参考訳（メタデータ） (2024-08-09T17:44:45Z) - Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。
C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。
提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
論文 参考訳（メタデータ） (2024-07-14T17:40:40Z) - Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。
本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。
CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2023-05-09T05:04:35Z) - Online Continual Learning via the Knowledge Invariant and Spread-out
Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。
知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。
提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文 参考訳（メタデータ） (2023-02-02T04:03:38Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳（メタデータ） (2022-12-09T13:22:27Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。
既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。
パターン認識型メタラーニング手法を提案する。
論文 参考訳（メタデータ） (2020-10-19T08:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。