Fugu-MT 論文翻訳(概要): Masked Autoencoders are Efficient Continual Federated Learners

論文の概要: Masked Autoencoders are Efficient Continual Federated Learners

arxiv url: http://arxiv.org/abs/2306.03542v2
Date: Thu, 18 Jul 2024 13:22:21 GMT
ステータス: 処理完了
システム内更新日: 2024-07-20 00:22:15.386644
Title: Masked Autoencoders are Efficient Continual Federated Learners
Title（参考訳）: マスク付きオートエンコーダは連続的フェデレーション学習者である
Authors: Subarnaduti Paul, Lars-Joel Frey, Roshni Kamath, Kristian Kersting, Martin Mundt,
Abstract要約: 継続的な学習は、クライアント間で共有される表現の教師なしの学習に基礎を置くべきです。分布推定のためのマスク付きオートエンコーダはこの設定に特に適している。
参考スコア（独自算出の注目度）: 20.856520787551453
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Machine learning is typically framed from a perspective of i.i.d., and more importantly, isolated data. In parts, federated learning lifts this assumption, as it sets out to solve the real-world challenge of collaboratively learning a shared model from data distributed across clients. However, motivated primarily by privacy and computational constraints, the fact that data may change, distributions drift, or even tasks advance individually on clients, is seldom taken into account. The field of continual learning addresses this separate challenge and first steps have recently been taken to leverage synergies in distributed supervised settings, in which several clients learn to solve changing classification tasks over time without forgetting previously seen ones. Motivated by these prior works, we posit that such federated continual learning should be grounded in unsupervised learning of representations that are shared across clients; in the loose spirit of how humans can indirectly leverage others' experience without exposure to a specific task. For this purpose, we demonstrate that masked autoencoders for distribution estimation are particularly amenable to this setup. Specifically, their masking strategy can be seamlessly integrated with task attention mechanisms to enable selective knowledge transfer between clients. We empirically corroborate the latter statement through several continual federated scenarios on both image and binary datasets.
Abstract（参考訳）: 機械学習は通常、i.d.の観点からフレーム化され、さらに重要なのは、孤立したデータである。部分的には、フェデレートされた学習は、クライアントに分散したデータから共有モデルを協調的に学習するという現実世界の課題を解決するために、この仮定を浮き彫りにする。しかし、主にプライバシーと計算上の制約によって動機付けられ、データが変化したり、分散がドリフトしたり、あるいはクライアント上で個別に進行するタスクさえも考慮されないという事実は、ほとんど考慮されない。継続的学習の分野は、この2つの課題に対処し、最近は分散教師付き設定におけるシナジーを活用するための第一歩が取られている。これらの先行研究に触発されて、このような連帯型連続学習は、クライアント間で共有される表現の教師なし学習に基礎を置くべきであると仮定する。この目的のために、分布推定のためのマスク付きオートエンコーダがこの設定に特に適していることを示す。具体的には、そのマスキング戦略をタスクアテンション機構とシームレスに統合し、クライアント間の選択的な知識伝達を可能にする。画像とバイナリの両方のデータセット上で,いくつかの連続的なフェデレーションシナリオを通じて,後者のステートメントを実証的に相関付けする。

関連論文リスト

Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文参考訳（メタデータ） (2023-07-05T11:58:58Z)
Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文参考訳（メタデータ） (2023-04-17T01:33:24Z)
FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。 FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文参考訳（メタデータ） (2022-10-25T08:32:08Z)
Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文参考訳（メタデータ） (2022-06-05T01:14:46Z)
Federated Self-supervised Learning for Heterogeneous Clients [20.33482170846688]
異種クライアント上でのフェデレーションによる自己教師型学習を実現するための統一的かつ体系的なフレームワークであるemphHeterogeneous Self-supervised Federated Learning (Hetero-SSFL)を提案する。提案したフレームワークは、アーキテクチャ上の制約やラベル付きデータの存在を伴わずに、すべてのクライアントをまたいだ表現学習を可能にする。我々は,提案手法が最先端の手法よりも優れていることを実証的に実証した。
論文参考訳（メタデータ） (2022-05-25T05:07:44Z)
Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
論文参考訳（メタデータ） (2022-04-08T03:37:56Z)
Addressing Client Drift in Federated Continual Learning with Adaptive Optimization [10.303676184878896]
本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
論文参考訳（メタデータ） (2022-03-24T20:00:03Z)
Tackling Dynamics in Federated Incremental Learning with Variational Embedding Rehearsal [27.64806509651952]
FLシナリオにおける漸進的な学習プロセスに対処する新しいアルゴリズムを提案する。まず、クライアントデータのプライバシーを確保するために、ディープ変分埋め込み(Deep Variational Embeddings)を提案する。第2に,学習した知識をモデルでリハーサルするサーバサイドトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-10-19T02:26:35Z)
Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文参考訳（メタデータ） (2021-08-17T17:53:05Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
論文参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。