論文の概要: Multi-Task and Transfer Learning for Federated Learning Applications
- arxiv url: http://arxiv.org/abs/2207.08147v1
- Date: Sun, 17 Jul 2022 11:48:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 17:50:15.841295
- Title: Multi-Task and Transfer Learning for Federated Learning Applications
- Title（参考訳）: フェデレーション学習アプリケーションのためのマルチタスク・トランスファー学習
- Authors: Cihat Ke\c{c}eci, Mohammad Shaqfeh, Hayat Mbayed, and Erchin Serpedin
- Abstract要約: フェデレートされた学習により、多くの潜在的なデータ保持クライアントの分散データセットとプライベートデータセットの恩恵を受けることができる。
我々は、入力に近く、よりパーソナライズされたレイヤを出力に近づけたディープニューラルネットワークモデルをトレーニングすることを提案する。
メタラーニングに基づくフェデレーション学習が有用であることが証明された特定のシナリオを強調するためのシミュレーション結果を提供する。
- 参考スコア（独自算出の注目度）: 5.224306534441244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning enables many applications benefiting distributed and
private datasets of a large number of potential data-holding clients. However,
different clients usually have their own particular objectives in terms of the
tasks to be learned from the data. So, supporting federated learning with
meta-learning tools such as multi-task learning and transfer learning will help
enlarge the set of potential applications of federated learning by letting
clients of different but related tasks share task-agnostic models that can be
then further updated and tailored by each individual client for its particular
task. In a federated multi-task learning problem, the trained deep neural
network model should be fine-tuned for the respective objective of each client
while sharing some parameters for more generalizability. We propose to train a
deep neural network model with more generalized layers closer to the input and
more personalized layers to the output. We achieve that by introducing layer
types such as pre-trained, common, task-specific, and personal layers. We
provide simulation results to highlight particular scenarios in which
meta-learning-based federated learning proves to be useful.
- Abstract（参考訳）: フェデレートラーニングは、多数の潜在的データ保持クライアントの分散およびプライベートデータセットの恩恵を受ける多くのアプリケーションを可能にする。
しかしながら、異なるクライアントは通常、データから学ぶべきタスクの観点から、独自の目的を持っています。
したがって、マルチタスク学習やトランスファー学習といったメタ学習ツールでフェデレーション学習をサポートすることは、異なるが関連するタスクのクライアントがタスクに依存しないモデルを共有できるようにすることで、フェデレーション学習の潜在的なアプリケーションセットを拡大するのに役立つ。
連合型マルチタスク学習問題では、トレーニングされたディープニューラルネットワークモデルは、より一般化可能なパラメータを共有しながら、各クライアントの目的に合わせて微調整されるべきである。
我々は、入力とよりパーソナライズされた層に近いより一般化された層を持つディープニューラルネットワークモデルをトレーニングすることを提案する。
プレトレーニング層、共通層、タスク固有層、個人層といったレイヤ型を導入することで、これを実現する。
我々は,メタラーニングに基づく連合学習が有用であることを示す特定のシナリオを強調するためにシミュレーション結果を提供する。
関連論文リスト
- Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - OmniVec: Learning robust representations with cross modal sharing [28.023214572340336]
複数のタスクを複数のモードで,統一されたアーキテクチャで学習する手法を提案する。
提案するネットワークはタスク固有エンコーダ(中央の共通トランク)とタスク固有予測ヘッドで構成される。
私たちは、視覚、オーディオ、テキスト、3Dなどの主要なモダリティでネットワークをトレーニングし、22ドルの多様性と挑戦的な公開ベンチマークの結果を報告します。
論文 参考訳（メタデータ） (2023-11-07T14:00:09Z) - YOLOR-Based Multi-Task Learning [12.5920336941241]
マルチタスク学習(MTL)は、単一のモデルを用いて複数のタスクを学習し、一般化と共有セマンティクスを前提として、これらすべてのタスクを共同で改善することを目的としている。
マルチタスクに特化したネットワークアーキテクチャYOLOR(You Only Learn One Representation)の構築を提案する。
本手法は,低パラメータ数を維持しつつ,事前学習を行わずに,全てのタスクにおける競合性能を実現する。
論文 参考訳（メタデータ） (2023-09-29T01:42:21Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - FedClassAvg: Local Representation Learning for Personalized Federated
Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。
FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。
異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-25T08:32:08Z) - Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。
大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。
我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
論文 参考訳（メタデータ） (2022-04-08T03:37:56Z) - Learning Multi-Tasks with Inconsistent Labels by using Auxiliary Big
Task [24.618094251341958]
マルチタスク学習は,タスク間の共通知識の伝達と活用により,モデルの性能を向上させることを目的とする。
本稿では,これらの課題をカバーするために,学習した補助的大タスクから豊富な情報と十分な数のクラスを両立させることにより,これらの課題を学習するための枠組みを提案する。
実験により, 現状のアプローチと比較し, その有効性を示した。
論文 参考訳（メタデータ） (2022-01-07T02:46:47Z) - Federated Few-Shot Learning with Adversarial Learning [30.905239262227]
少数のラベル付きサンプルだけで、見えないデータクラスを分類できる、数ショットの分類モデルを学ぶための、数ショット学習フレームワークを提案する。
学習視覚タスクは10%以上,言語タスクは5%以上,私たちのアプローチはベースラインよりも優れています。
論文 参考訳（メタデータ） (2021-04-01T09:44:57Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。
本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文 参考訳（メタデータ） (2020-03-21T02:08:17Z) - Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。
FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。
我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
論文 参考訳（メタデータ） (2020-03-06T13:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。