論文の概要: Federated Continual Learning for Text Classification via Selective Inter-client Transfer

• arxiv url: http://arxiv.org/abs/2210.06101v1
• Date: Wed, 12 Oct 2022 11:24:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 12:34:24.444486
• Title: Federated Continual Learning for Text Classification via Selective Inter-client Transfer
• Title（参考訳）: 選択的クライアント間転送によるテキスト分類のための連続学習
• Authors: Yatin Chaudhary, Pranav Rai, Matthias Schubert, Hinrich Sch\"utze, Pankaj Gupta
• Abstract要約: 本研究では,クラウドエッジ連続体におけるテキスト分類タスクにおいて,フェデレートラーニング(FL)と継続ラーニング(CL)の2つのパラダイムを組み合わせる。 フェデレート・継続学習(FCL)の目的は、データを共有することなく、(関連的で効率的な)知識伝達により、各クライアントの生涯にわたってディープラーニングモデルを改善することである。 ここでは、FCLセットアップにおけるクライアント間の不均一なタスクによる知識共有において、クライアント間の干渉を最小限に抑えることの課題に対処する。 そこで本稿では,外部クライアントのモデルパラメータを選択的に組み合わせたFedSeIT(Federated Selective Inter-client Transfer)を提案する。
• 参考スコア（独自算出の注目度）: 21.419581793986378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we combine the two paradigms: Federated Learning (FL) and Continual Learning (CL) for text classification task in cloud-edge continuum. The objective of Federated Continual Learning (FCL) is to improve deep learning models over life time at each client by (relevant and efficient) knowledge transfer without sharing data. Here, we address challenges in minimizing inter-client interference while knowledge sharing due to heterogeneous tasks across clients in FCL setup. In doing so, we propose a novel framework, Federated Selective Inter-client Transfer (FedSeIT) which selectively combines model parameters of foreign clients. To further maximize knowledge transfer, we assess domain overlap and select informative tasks from the sequence of historical tasks at each foreign client while preserving privacy. Evaluating against the baselines, we show improved performance, a gain of (average) 12.4\% in text classification over a sequence of tasks using five datasets from diverse domains. To the best of our knowledge, this is the first work that applies FCL to NLP.
• Abstract（参考訳）: 本研究では,クラウドエッジ連続体におけるテキスト分類タスクのためのフェデレーション学習(fl)と連続学習(cl)の2つのパラダイムを組み合わせた。 連合型連続学習(federated continual learning, fcl)の目的は、データを共有することなく(関連する、効率的な)知識伝達によって、各クライアントの生涯にわたってディープラーニングモデルを改善することである。 本稿では、fcl設定におけるクライアント間の異種タスクによる知識共有によるクライアント間干渉を最小限に抑えるための課題に対処する。 そこで本稿では,外部クライアントのモデルパラメータを選択的に組み合わせたFedSeIT(Federated Selective Inter-client Transfer)を提案する。 知識伝達をさらに最大化するため,プライバシを保ちつつ,各外国クライアントの履歴タスクのシーケンスから,ドメイン重複を評価し,情報的タスクを選択する。 ベースラインに対して評価すると、さまざまなドメインの5つのデータセットを使用して、テキスト分類における平均12.4\%の性能向上を示す。 私たちの知る限りでは、これがFCLをNLPに適用した最初の作品です。

関連論文リスト

• Federated Continual Learning via Knowledge Fusion: A Survey [33.74289759536269]
  FCL(Federated Continual Learning)は、フェデレートされた学習環境と継続的な学習環境の両方において、モデル学習に対処する新たなパラダイムである。 FCLの主な目的は、異なるクライアントからの異種知識を融合し、新しいタスクを学習しながら、以前のタスクの知識を保持することである。 本研究は,フェデレーション学習と継続学習をまず重視し,その統合,すなわちFCL,特にFCLを知識融合を通じて議論する。
  論文  参考訳（メタデータ） (2023-12-27T08:47:39Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• Collaborating Heterogeneous Natural Language Processing Tasks via Federated Learning [55.99444047920231]
  提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。 自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-12T09:27:50Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Addressing Client Drift in Federated Continual Learning with Adaptive Optimization [10.303676184878896]
  本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。 適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
  論文  参考訳（メタデータ） (2022-03-24T20:00:03Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
  我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。 我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
  論文  参考訳（メタデータ） (2020-03-06T13:33:48Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。