論文の概要: Replica Tree-based Federated Learning using Limited Data
- arxiv url: http://arxiv.org/abs/2312.17159v1
- Date: Thu, 28 Dec 2023 17:47:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 15:19:19.951350
- Title: Replica Tree-based Federated Learning using Limited Data
- Title（参考訳）: 限定データを用いたレプリカツリーベース連合学習
- Authors: Ramona Ghilea and Islem Rekik
- Abstract要約: 本研究では,RepTreeFLという新しいフェデレーション学習フレームワークを提案する。
ソリューションの中核はレプリカの概念であり、モデルアーキテクチャをコピーし、ローカルなデータ分散を摂動することで、各クライアントを複製します。
当社のアプローチでは,データ分布の多様さで多数のモデルを集約することで,限られたデータと少数のクライアントから学習することが可能である。
- 参考スコア（独自算出の注目度）: 6.572149681197959
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Learning from limited data has been extensively studied in machine learning,
considering that deep neural networks achieve optimal performance when trained
using a large amount of samples. Although various strategies have been proposed
for centralized training, the topic of federated learning with small datasets
remains largely unexplored. Moreover, in realistic scenarios, such as settings
where medical institutions are involved, the number of participating clients is
also constrained. In this work, we propose a novel federated learning
framework, named RepTreeFL. At the core of the solution is the concept of a
replica, where we replicate each participating client by copying its model
architecture and perturbing its local data distribution. Our approach enables
learning from limited data and a small number of clients by aggregating a
larger number of models with diverse data distributions. Furthermore, we
leverage the hierarchical structure of the client network (both original and
virtual), alongside the model diversity across replicas, and introduce a
diversity-based tree aggregation, where replicas are combined in a tree-like
manner and the aggregation weights are dynamically updated based on the model
discrepancy. We evaluated our method on two tasks and two types of data, graph
generation and image classification (binary and multi-class), with both
homogeneous and heterogeneous model architectures. Experimental results
demonstrate the effectiveness and outperformance of RepTreeFL in settings where
both data and clients are limited. Our code is available at
https://github.com/basiralab/RepTreeFL.
- Abstract（参考訳）: 限られたデータから学ぶことは、深層ニューラルネットワークが大量のサンプルを使ってトレーニングした場合に最適なパフォーマンスを達成することを考慮し、機械学習で広範囲に研究されている。
集中型トレーニングのための様々な戦略が提案されているが、小さなデータセットによる連合学習の話題はほとんど未定である。
さらに、医療機関が関与するような現実的なシナリオでは、参加するクライアントの数も制限される。
本研究では,reptreeflと呼ばれる新しい連合学習フレームワークを提案する。
ソリューションの核心はレプリカの概念であり、モデルアーキテクチャをコピーして各クライアントを複製し、ローカルなデータ分散を摂動させることで、各クライアントを複製する。
当社のアプローチでは,データ分布の多様さで多数のモデルを集約することで,限られたデータと少数のクライアントから学習することができる。
さらに、レプリカ間のモデルの多様性と並行して、クライアントネットワークの階層構造(オリジナルと仮想の両方)を活用し、レプリカを木のような方法で結合し、凝集重みをモデルの不一致に基づいて動的に更新する多様性ベースのツリーアグリゲーションを導入する。
グラフ生成と画像分類(バイナリとマルチクラス)の2つのタスクと2種類のデータについて,均質なモデルアーキテクチャとヘテロジニアスなモデルアーキテクチャの両方を用いて評価を行った。
実験結果は、データとクライアントの両方が制限された設定におけるreptreeflの有効性と性能を実証する。
私たちのコードはhttps://github.com/basiralab/RepTreeFL.comで利用可能です。
関連論文リスト
- FedBone: Towards Large-Scale Federated Multi-Task Learning [13.835972363413884]
現実世界のアプリケーションでは、視覚と自然言語のタスクは、高レベルの抽象的特徴を抽出するために大規模なモデルを必要とする。
既存のHFML手法は、マルチタスク最適化における勾配競合の影響を無視している。
我々はFedBoneと呼ばれる革新的なフレームワークを提案し、より優れた一般化を伴う大規模モデルの構築を可能にする。
論文 参考訳（メタデータ） (2023-06-30T08:19:38Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-22T04:06:29Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。
本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。
我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
論文 参考訳（メタデータ） (2022-08-19T17:57:32Z) - Architecture Agnostic Federated Learning for Neural Networks [19.813602191888837]
この研究は、FedHeNN(Federated Heterogeneous Neural Networks)フレームワークを導入している。
FedHeNNは、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することを可能にする。
FedHeNNのキーとなるアイデアは、ピアクライアントから取得したインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。
論文 参考訳（メタデータ） (2022-02-15T22:16:06Z) - HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain
Language Model Compression [53.90578309960526]
大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。
階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
論文 参考訳（メタデータ） (2021-10-16T11:23:02Z) - Unsupervised Domain Adaptive Learning via Synthetic Data for Person
Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。
残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。
本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文 参考訳（メタデータ） (2021-09-12T15:51:41Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-12-23T09:33:11Z) - Performance Optimization for Federated Person Re-identification via
Benchmark Analysis [25.9422385039648]
フェデレーション学習(Federated Learning)は、分散型クライアント間で共有モデルを学習する、プライバシ保護機械学習技術である。
本研究では,人間再同定(FedReID)にフェデレート学習を実装し,実世界のシナリオにおけるその性能を最適化する。
論文 参考訳（メタデータ） (2020-08-26T13:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。