論文の概要: Fed-CPrompt: Contrastive Prompt for Rehearsal-Free Federated Continual
Learning
- arxiv url: http://arxiv.org/abs/2307.04869v2
- Date: Tue, 5 Sep 2023 22:06:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 18:36:57.890446
- Title: Fed-CPrompt: Contrastive Prompt for Rehearsal-Free Federated Continual
Learning
- Title(参考訳): fed-cprompt:リハーサルフリー連続学習のためのコントラストプロンプト
- Authors: Gaurav Bagwe and Xiaoyong Yuan and Miao Pan and Lan Zhang
- Abstract要約: フェデレーション連続学習(FCL)は、クライアントに分散した機密データセットから、時間とともに漸進的なタスクを学習する。
本稿では,過去のタスクデータにアクセスできないため,新しいタスクを学習する際の忘れを厳しくするリハーサルのないFCLに焦点を当てる。
コミュニケーション効率のよい方法でタスク固有のプロンプトを得るために,プロンプト学習手法に基づくFed-CPromptを提案する。
- 参考スコア(独自算出の注目度): 15.257413246220032
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated continual learning (FCL) learns incremental tasks over time from
confidential datasets distributed across clients. This paper focuses on
rehearsal-free FCL, which has severe forgetting issues when learning new tasks
due to the lack of access to historical task data. To address this issue, we
propose Fed-CPrompt based on prompt learning techniques to obtain task-specific
prompts in a communication-efficient way. Fed-CPrompt introduces two key
components, asynchronous prompt learning, and contrastive continual loss, to
handle asynchronous task arrival and heterogeneous data distributions in FCL,
respectively. Extensive experiments demonstrate the effectiveness of
Fed-CPrompt in achieving SOTA rehearsal-free FCL performance.
- Abstract(参考訳): フェデレーション連続学習(FCL)は、クライアントに分散した機密データセットから、時間とともに漸進的なタスクを学習する。
本稿では,過去のタスクデータにアクセスできないため,新しいタスクを学習する際の忘れを厳しくするリハーサルのないFCLに焦点を当てる。
そこで本研究では,コミュニケーション効率のよいタスク固有プロンプトを得るために,プロンプト学習技術に基づくfeed-cpromptを提案する。
Fed-CPromptは非同期プロンプト学習とコントラスト連続損失という2つの重要なコンポーネントを導入し、それぞれFCLの非同期タスク到着と異種データ分散を処理する。
大規模な実験は、SOTAリハーサルフリーFCL性能を達成するためのFed-CPromptの有効性を示した。
関連論文リスト
- FedAuxHMTL: Federated Auxiliary Hard-Parameter Sharing Multi-Task Learning for Network Edge Traffic Classification [9.816810723612653]
本稿では,FedAuxHMTLという,多タスク学習のための補助的ハードパラメータ共有フレームワークを提案する。
エッジサーバとベースステーション間のモデルパラメータ交換を取り入れ、分散領域のベースステーションがFedAuxHMTLプロセスに参加することを可能にする。
実験により,FedAuxHMTLの有効性を,精度,全地球的損失,通信コスト,計算時間,エネルギー消費の観点から検証し,実証した。
論文 参考訳(メタデータ) (2024-04-11T16:23:28Z) - Token-Efficient Leverage Learning in Large Language Models [13.830828529873056]
大規模言語モデル(LLM)は様々なタスクで優れていますが、高リソースのシナリオではより良く機能しています。
データ不足と特定のタスクにLLMを適用することの難しさは、この課題を複雑にしている。
本稿では,Token-Efficient Leverage Learning (TELL) と呼ばれる方法論の合理化実装を提案する。
論文 参考訳(メタデータ) (2024-04-01T04:39:44Z) - FedPIT: Towards Privacy-preserving and Few-shot Federated Instruction
Tuning [39.348555094457474]
フェデレーション・インストラクション・チューニング(FedIT)は、プライバシを保護しながら、複数のデータオーナからのフェデレーション・ラーニングを活用するソリューションとして登場した。
我々は,LLMのコンテキスト内学習機能を利用して,タスク固有の合成データを自己生成して自律的に学習する,新しいフェデレーションアルゴリズムであるFedPITを提案する。
本手法では,データ抽出攻撃を効果的に抑えるため,パラメータ分離学習を用いて,合成データと拡張局所データで訓練された局所パラメータのグローバルパラメータを維持できる。
論文 参考訳(メタデータ) (2024-03-10T08:41:22Z) - Federated Continual Learning via Knowledge Fusion: A Survey [33.74289759536269]
FCL(Federated Continual Learning)は、フェデレートされた学習環境と継続的な学習環境の両方において、モデル学習に対処する新たなパラダイムである。
FCLの主な目的は、異なるクライアントからの異種知識を融合し、新しいタスクを学習しながら、以前のタスクの知識を保持することである。
本研究は,フェデレーション学習と継続学習をまず重視し,その統合,すなわちFCL,特にFCLを知識融合を通じて議論する。
論文 参考訳(メタデータ) (2023-12-27T08:47:39Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳(メタデータ) (2022-10-14T08:11:34Z) - Communication-Efficient and Privacy-Preserving Feature-based Federated
Transfer Learning [11.758703301702012]
フェデレーション学習は、クライアントのプライバシを保存することで、関心が高まりつつある。
無線帯域が限られているため、無線リンクによるフェデレート学習の通信効率が重要となる。
上りペイロードを5桁以上削減する革新的な手法として,特徴に基づくフェデレーション・トランスファー・ラーニングを提案する。
論文 参考訳(メタデータ) (2022-09-12T16:48:52Z) - FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task
Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。
本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文 参考訳(メタデータ) (2022-03-24T17:43:12Z) - Federated Cycling (FedCy): Semi-supervised Federated Learning of
Surgical Phases [57.90226879210227]
FedCyは、FLと自己教師付き学習を組み合わせた半教師付き学習(FSSL)手法で、ラベル付きビデオとラベルなしビデオの両方の分散データセットを利用する。
外科的段階の自動認識作業において,最先端のFSSL法よりも顕著な性能向上を示した。
論文 参考訳(メタデータ) (2022-03-14T17:44:53Z) - Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。
FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。
我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
論文 参考訳(メタデータ) (2020-03-06T13:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。