論文の概要: Fed-CPrompt: Contrastive Prompt for Rehearsal-Free Federated Continual Learning

• arxiv url: http://arxiv.org/abs/2307.04869v1
• Date: Mon, 10 Jul 2023 19:32:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 17:11:43.063616
• Title: Fed-CPrompt: Contrastive Prompt for Rehearsal-Free Federated Continual Learning
• Title（参考訳）: fed-cprompt:リハーサルフリー連続学習のためのコントラストプロンプト
• Authors: Gaurav Bagwe and Xiaoyong Yuan and Miao Pan and Lan Zhang
• Abstract要約: フェデレーション連続学習(FCL)は、クライアントに分散した機密データセットから、時間とともに漸進的なタスクを学習する。 本稿では,過去のタスクデータにアクセスできないため,新しいタスクを学習する際の忘れを厳しくするリハーサルのないFCLに焦点を当てる。 コミュニケーション効率のよい方法でタスク固有のプロンプトを得るために,プロンプト学習手法に基づくFed-CPromptを提案する。
• 参考スコア（独自算出の注目度）: 15.12175234780865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated continual learning (FCL) learns incremental tasks over time from confidential datasets distributed across clients. This paper focuses on rehearsal-free FCL, which has severe forgetting issues when learning new tasks due to the lack of access to historical task data. To address this issue, we propose Fed-CPrompt based on prompt learning techniques to obtain task-specific prompts in a communication-efficient way. Fed-CPrompt introduces two key components, asynchronous prompt learning, and contrastive continual loss, to handle asynchronous task arrival and heterogeneous data distributions in FCL, respectively. Extensive experiments demonstrate the effectiveness of Fed-CPrompt in achieving SOTA rehearsal-free FCL performance.
• Abstract（参考訳）: フェデレーション連続学習(FCL)は、クライアントに分散した機密データセットから、時間とともに漸進的なタスクを学習する。 本稿では,過去のタスクデータにアクセスできないため,新しいタスクを学習する際の忘れを厳しくするリハーサルのないFCLに焦点を当てる。 そこで本研究では,コミュニケーション効率のよいタスク固有プロンプトを得るために,プロンプト学習技術に基づくfeed-cpromptを提案する。 Fed-CPromptは非同期プロンプト学習とコントラスト連続損失という2つの重要なコンポーネントを導入し、それぞれFCLの非同期タスク到着と異種データ分散を処理する。 大規模な実験は、SOTAリハーサルフリーFCL性能を達成するためのFed-CPromptの有効性を示した。

関連論文リスト

• FPPL: An Efficient and Non-IID Robust Federated Continual Learning Framework [6.446904116575293]
  フェデレーション型連続学習(FCL)は、分散化されたフェデレーション型学習環境において、シーケンシャルなデータストリームから学習することを目的としている。 既存のFCLメソッドは通常、典型的なリハーサル機構を使用しており、これはプライバシー侵害や追加の面倒なストレージや計算負荷をもたらす可能性がある。 本研究では,FPPL(Federated Prototype-Augmented Prompt Learning)と呼ばれる,効率的で非IIDな連立型連続学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-04T09:15:21Z)
• Selection-p: Self-Supervised Task-Agnostic Prompt Compression for Faithfulness and Transferability [67.77534983324229]
  本稿では,非形式的トークンを識別する統一圧縮法を開発するために,大規模言語モデルの能力について検討する。 実験により、Selection-pは様々な分類タスクで最先端のパフォーマンスを達成することが示された。 以前の作業と比べて、異なるモデルに対して優れた転送性を示す。
  論文  参考訳（メタデータ） (2024-10-15T17:05:25Z)
• Feature-based Federated Transfer Learning: Communication Efficiency, Robustness and Privacy [11.308544280789016]
  本稿では,コミュニケーション効率向上のための新しい手法として,特徴に基づくフェデレーション・トランスファー・ラーニングを提案する。 具体的には,提案した特徴に基づくフェデレーション学習において,パラメータ更新ではなく,抽出した特徴と出力をアップロードするように設計する。 画像分類タスクと自然言語処理タスクを用いて,提案手法の性能評価を行い,その有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-15T00:43:19Z)
• FedAuxHMTL: Federated Auxiliary Hard-Parameter Sharing Multi-Task Learning for Network Edge Traffic Classification [9.816810723612653]
  本稿では,FedAuxHMTLという,多タスク学習のための補助的ハードパラメータ共有フレームワークを提案する。 エッジサーバとベースステーション間のモデルパラメータ交換を取り入れ、分散領域のベースステーションがFedAuxHMTLプロセスに参加することを可能にする。 実験により,FedAuxHMTLの有効性を,精度,全地球的損失,通信コスト,計算時間,エネルギー消費の観点から検証し,実証した。
  論文  参考訳（メタデータ） (2024-04-11T16:23:28Z)
• Token-Efficient Leverage Learning in Large Language Models [13.830828529873056]
  大規模言語モデル(LLM)は様々なタスクで優れていますが、高リソースのシナリオではより良く機能しています。 データ不足と特定のタスクにLLMを適用することの難しさは、この課題を複雑にしている。 本稿では,Token-Efficient Leverage Learning (TELL) と呼ばれる方法論の合理化実装を提案する。
  論文  参考訳（メタデータ） (2024-04-01T04:39:44Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)
• Communication-Efficient and Privacy-Preserving Feature-based Federated Transfer Learning [11.758703301702012]
  フェデレーション学習は、クライアントのプライバシを保存することで、関心が高まりつつある。 無線帯域が限られているため、無線リンクによるフェデレート学習の通信効率が重要となる。 上りペイロードを5桁以上削減する革新的な手法として,特徴に基づくフェデレーション・トランスファー・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-09-12T16:48:52Z)
• Federated Cycling (FedCy): Semi-supervised Federated Learning of Surgical Phases [57.90226879210227]
  FedCyは、FLと自己教師付き学習を組み合わせた半教師付き学習(FSSL)手法で、ラベル付きビデオとラベルなしビデオの両方の分散データセットを利用する。 外科的段階の自動認識作業において,最先端のFSSL法よりも顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2022-03-14T17:44:53Z)
• Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
  我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。 我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
  論文  参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。