Fugu-MT 論文翻訳(概要): Federated Few-Shot Learning with Adversarial Learning

論文の概要: Federated Few-Shot Learning with Adversarial Learning

arxiv url: http://arxiv.org/abs/2104.00365v1
Date: Thu, 1 Apr 2021 09:44:57 GMT
ステータス: 処理完了
システム内更新日: 2021-04-03 00:29:26.031444
Title: Federated Few-Shot Learning with Adversarial Learning
Title（参考訳）: 対人学習によるフェデレーションフットショット学習
Authors: Chenyou Fan and Jianwei Huang
Abstract要約: 少数のラベル付きサンプルだけで、見えないデータクラスを分類できる、数ショットの分類モデルを学ぶための、数ショット学習フレームワークを提案する。学習視覚タスクは10%以上,言語タスクは5%以上,私たちのアプローチはベースラインよりも優れています。
参考スコア（独自算出の注目度）: 30.905239262227
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We are interested in developing a unified machine learning model over many mobile devices for practical learning tasks, where each device only has very few training data. This is a commonly encountered situation in mobile computing scenarios, where data is scarce and distributed while the tasks are distinct. In this paper, we propose a federated few-shot learning (FedFSL) framework to learn a few-shot classification model that can classify unseen data classes with only a few labeled samples. With the federated learning strategy, FedFSL can utilize many data sources while keeping data privacy and communication efficiency. There are two technical challenges: 1) directly using the existing federated learning approach may lead to misaligned decision boundaries produced by client models, and 2) constraining the decision boundaries to be similar over clients would overfit to training tasks but not adapt well to unseen tasks. To address these issues, we propose to regularize local updates by minimizing the divergence of client models. We also formulate the training in an adversarial fashion and optimize the client models to produce a discriminative feature space that can better represent unseen data samples. We demonstrate the intuitions and conduct experiments to show our approaches outperform baselines by more than 10% in learning vision tasks and 5% in language tasks.
Abstract（参考訳）: 私たちは、多くのモバイルデバイス上で実践的な学習タスクのための統一された機械学習モデルの開発に興味があります。これは、タスクが異なる間にデータが不足し分散しているモバイルコンピューティングのシナリオで一般的に発生する状況である。本稿では,少数のラベル付きサンプルで未認識のデータクラスを分類可能な,少数ショットの分類モデルを学ぶためのfederated few-shot learning(fedfsl)フレームワークを提案する。 federated learning戦略により、federated learningはデータのプライバシーと通信効率を維持しながら、多くのデータソースを活用できる。 1) 既存のフェデレートされた学習アプローチを直接使うと、クライアントモデルが生み出した誤った決定境界に繋がる可能性があるし、2) クライアントと同じような決定境界を制約することは、タスクの訓練に過度に適合するが、見当たらないタスクにうまく適応しない。これらの問題に対処するために,クライアントモデルのばらつきを最小限に抑えて,ローカル更新の定期化を提案する。また,攻撃的手法でトレーニングを定式化し,クライアントモデルを最適化して,見当たらないデータサンプルをよりよく表現できる識別的特徴空間を作成する。直観を実証し,学習ビジョンタスクで10%以上,言語タスクで5%以上,ベースラインよりも優れたアプローチを示す実験を行った。

関連論文リスト

Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation [46.86767774669831]
モデル説明の概念に基づく、より効率的で効率的なフェデレーション・アンラーニング・スキームを提案する。我々は、未学習のデータに対して、すでに訓練済みのモデルの中で最も影響力のあるチャネルを選択します。
論文参考訳（メタデータ） (2024-06-18T11:43:20Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文参考訳（メタデータ） (2023-07-10T21:08:52Z)
Federated Few-shot Learning [40.08636228692432]
フェデレートラーニング(FL)は、複数のクライアントが独自のローカルデータを交換することなく、機械学習モデルを共同で学習することを可能にする。実際には、特定のクライアントは限られた数のサンプル(例:数発のサンプル)のみを含むことができる。本稿では、2つの個別に更新されたモデルと専用のトレーニング戦略を備えた、新しいフェデレーション付き数ショット学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-06-17T02:25:56Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Federated Learning and Meta Learning: Approaches, Applications, and Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文参考訳（メタデータ） (2022-10-24T10:59:29Z)
Federated Pruning: Improving Neural Network Efficiency with Federated Learning [24.36174705715827]
フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
論文参考訳（メタデータ） (2022-09-14T00:48:37Z)
Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
論文参考訳（メタデータ） (2022-08-19T17:57:32Z)
Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文参考訳（メタデータ） (2021-08-17T17:53:05Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
Federated Generative Adversarial Learning [13.543039993168735]
GAN(Generative Adversarial Network)は、様々な現実世界のアプリケーションにおいて進歩を遂げている。 GANは実際のケースでデータ制限の問題に悩まされている。本稿では,フェデレート学習フレームワークを用いた新しい生成学習手法を提案する。
論文参考訳（メタデータ） (2020-05-07T23:06:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。