論文の概要: Federated Few-shot Learning

• arxiv url: http://arxiv.org/abs/2306.10234v2
• Date: Thu, 22 Jun 2023 01:46:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 16:53:49.495496
• Title: Federated Few-shot Learning
• Title（参考訳）: フェデレーション・マイトショット学習
• Authors: Song Wang, Xingbo Fu, Kaize Ding, Chen Chen, Huiyuan Chen, Jundong Li
• Abstract要約: フェデレートラーニング(FL)は、複数のクライアントが独自のローカルデータを交換することなく、機械学習モデルを共同で学習することを可能にする。 実際には、特定のクライアントは限られた数のサンプル(例:数発のサンプル)のみを含むことができる。 本稿では、2つの個別に更新されたモデルと専用のトレーニング戦略を備えた、新しいフェデレーション付き数ショット学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 40.08636228692432
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) enables multiple clients to collaboratively learn a machine learning model without exchanging their own local data. In this way, the server can exploit the computational power of all clients and train the model on a larger set of data samples among all clients. Although such a mechanism is proven to be effective in various fields, existing works generally assume that each client preserves sufficient data for training. In practice, however, certain clients may only contain a limited number of samples (i.e., few-shot samples). For example, the available photo data taken by a specific user with a new mobile device is relatively rare. In this scenario, existing FL efforts typically encounter a significant performance drop on these clients. Therefore, it is urgent to develop a few-shot model that can generalize to clients with limited data under the FL scenario. In this paper, we refer to this novel problem as federated few-shot learning. Nevertheless, the problem remains challenging due to two major reasons: the global data variance among clients (i.e., the difference in data distributions among clients) and the local data insufficiency in each client (i.e., the lack of adequate local data for training). To overcome these two challenges, we propose a novel federated few-shot learning framework with two separately updated models and dedicated training strategies to reduce the adverse impact of global data variance and local data insufficiency. Extensive experiments on four prevalent datasets that cover news articles and images validate the effectiveness of our framework compared with the state-of-the-art baselines. Our code is provided at https://github.com/SongW-SW/F2L.
• Abstract（参考訳）: フェデレーション・ラーニング(fl)は、複数のクライアントがローカルデータを交換することなく、協調して機械学習モデルを学習できるようにする。 このようにして、サーバはすべてのクライアントの計算能力を活用し、すべてのクライアント間でより大きなデータサンプルセットでモデルをトレーニングすることができる。 このようなメカニズムは様々な分野で有効であることが証明されているが、既存の研究は、各クライアントがトレーニングに十分なデータを保存すると仮定している。 しかし実際には、特定のクライアントは限られた数のサンプル(すなわち、少数のサンプル)しか含まない。 例えば、特定のユーザーが新しいモバイルデバイスで撮影した写真データは、比較的まれである。 このシナリオでは、既存のFLの取り組みは、一般的にこれらのクライアントに大きなパフォーマンス低下に遭遇します。 そのため、FLシナリオの下で限られたデータを持つクライアントに一般化可能な数ショットモデルを開発することが急務である。 本稿では,この新たな問題を,フェデレーション付き数発学習と呼ぶ。 しかしながら、クライアント間のグローバルデータ分散(クライアント間のデータ分散の違い)と各クライアント内のローカルデータ不足(トレーニングに十分なローカルデータ不足)という2つの大きな理由により、この問題は依然として困難なままである。 これら2つの課題を克服するために,グローバルデータ分散と局所データ不足の悪影響を軽減すべく,2つのモデルと専用トレーニング戦略を別々に更新した,連帯型少数ショット学習フレームワークを提案する。 ニュース記事とイメージをカバーする4つの一般的なデータセットに関する広範囲な実験は、最先端のベースラインと比較して、フレームワークの有効性を検証する。 私たちのコードはhttps://github.com/SongW-SW/F2Lで提供されます。

関連論文リスト

• Efficient Federated Unlearning under Plausible Deniability [1.795561427808824]
  機械学習は、特定のデータポイントが重みに与える影響を忘れるため、MLパラメータを変更することでこの問題に対処する。 最近の文献では、データポイント(s)からのコントリビューションが、確率が1に近いデータセット内の他のデータポイントで鍛えられることが強調されている。 本稿では、FLサーバがクライアントの参加を確実に否定できるプライバシーモデルを用いて、フェデレートされたアンラーニングを実現する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T18:08:24Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Distributed Unsupervised Visual Representation Learning with Fused Features [13.935997509072669]
  フェデレートラーニング(FL)により、分散クライアントは、各クライアントにトレーニングデータをローカルに保持しながら、予測のための共有モデルを学ぶことができる。 本稿では,特徴融合と近傍マッチングという2つのアプローチからなる相互比較学習フレームワークを提案する。 IIDデータでは、他の手法よりも11%優れており、集中学習のパフォーマンスに匹敵する。
  論文  参考訳（メタデータ） (2021-11-21T08:36:31Z)
• Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
  Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。 この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。 本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。 第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
  論文  参考訳（メタデータ） (2021-05-31T17:54:29Z)
• Federated Few-Shot Learning with Adversarial Learning [30.905239262227]
  少数のラベル付きサンプルだけで、見えないデータクラスを分類できる、数ショットの分類モデルを学ぶための、数ショット学習フレームワークを提案する。 学習視覚タスクは10%以上,言語タスクは5%以上,私たちのアプローチはベースラインよりも優れています。
  論文  参考訳（メタデータ） (2021-04-01T09:44:57Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• FedProf: Optimizing Federated Learning with Dynamic Data Profiling [9.74942069718191]
  フェデレートラーニング(FL)は、分散データから学ぶためのプライバシ保護ソリューションとして大きな可能性を示している。 クライアントの大多数は、バイアス、ノイズ、あるいは無関係な低品質のデータのみを保有している。 本研究では,データプライバシを侵害することなくFLを最適化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-02T20:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。