論文の概要: Heterogeneous Federated Learning Using Knowledge Codistillation
- arxiv url: http://arxiv.org/abs/2310.02549v1
- Date: Wed, 4 Oct 2023 03:17:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 16:42:31.961943
- Title: Heterogeneous Federated Learning Using Knowledge Codistillation
- Title(参考訳): 知識共蒸留を用いたヘテロジニアスフェデレート学習
- Authors: Jared Lichtarge and Ehsan Amid and Shankar Kumar and Tien-Ju Yang and
Rohan Anil and Rajiv Mathews
- Abstract要約: 本稿では、プール全体における小さなモデルと、より高いキャパシティを持つクライアントのサブセットにおけるより大きなモデルをトレーニングする手法を提案する。
モデルは、パラメータを共有することなく、サーバ上のラベルなしデータセットを利用して、知識蒸留を介して情報を双方向に交換する。
- 参考スコア(独自算出の注目度): 23.895665011884102
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Averaging, and many federated learning algorithm variants which
build upon it, have a limitation: all clients must share the same model
architecture. This results in unused modeling capacity on many clients, which
limits model performance. To address this issue, we propose a method that
involves training a small model on the entire pool and a larger model on a
subset of clients with higher capacity. The models exchange information
bidirectionally via knowledge distillation, utilizing an unlabeled dataset on a
server without sharing parameters. We present two variants of our method, which
improve upon federated averaging on image classification and language modeling
tasks. We show this technique can be useful even if only out-of-domain or
limited in-domain distillation data is available. Additionally, the
bi-directional knowledge distillation allows for domain transfer between the
models when different pool populations introduce domain shift.
- Abstract(参考訳): フェデレーション平均化(Federated Averaging)や、それに基づいて構築される多くのフェデレーション学習アルゴリズムのバリエーションには制限がある。
その結果、多くのクライアントで未使用のモデリング能力が発生し、モデル性能が制限される。
この問題に対処するために,プール全体の小さなモデルをトレーニングし,キャパシティの高いクライアントのサブセットでより大きなモデルをトレーニングする手法を提案する。
モデルは、パラメータを共有することなく、サーバ上のラベルなしデータセットを利用して、知識蒸留を介して情報を双方向に交換する。
本稿では,画像分類と言語モデリングタスクにおける平均化を改善する2種類の手法を提案する。
ドメイン外またはドメイン内蒸留データに制限がある場合でも,本手法は有用であることを示す。
さらに、双方向の知識蒸留は、異なるプール人口がドメインシフトを導入したとき、モデル間のドメイン転送を可能にする。
関連論文リスト
- AM-RADIO: Agglomerative Model -- Reduce All Domains Into One [51.98777863920393]
このアプローチをAM-RADIO(Agglomerative Model -- すべてのドメインを1に還元する)と名付けます。
教師モデルより少なくとも7倍高速な新しいアーキテクチャ(E-RADIO)を開発した。
包括的なベンチマークプロセスでは、ImageNet分類、ADE20kセマンティックセグメンテーション、COCOオブジェクト検出、LLaVa-1.5フレームワークなどの下流タスクをカバーしています。
論文 参考訳(メタデータ) (2023-12-10T17:07:29Z) - Cross-Silo Federated Learning Across Divergent Domains with Iterative
Parameter Alignment [5.568652047172666]
フェデレートラーニング(Federated Learning)は、リモートクライアント間で機械学習モデルをトレーニングする手法である。
我々は、共通の目的のために最適化されたNモデルを学ぶために、典型的な連合学習環境を再構築する。
この技術は、最先端のアプローチと比較して、様々なデータパーティションにおける競合的な結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-11-08T16:42:14Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-22T04:06:29Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Domain Discrepancy Aware Distillation for Model Aggregation in Federated
Learning [47.87639746826555]
サーバ・ツー・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアントの相違という2つの課題をドメインの相違によって集約モデルに導いた。
本稿では,領域差を考慮した蒸留に基づく適応的知識集約アルゴリズムFedD3Aを提案する。
論文 参考訳(メタデータ) (2022-10-04T04:08:16Z) - Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。
本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。
我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
論文 参考訳(メタデータ) (2022-08-19T17:57:32Z) - HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain
Language Model Compression [53.90578309960526]
大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。
階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
論文 参考訳(メタデータ) (2021-10-16T11:23:02Z) - GAN Cocktail: mixing GANs without dataset access [18.664733153082146]
実世界でしばしば発生する2つの制約を考えると、モデルマージの問題に取り組みます。
第一段階では、モデルルートと呼ぶ手法により、全てのモデルの重みを同じパラメータ空間に変換する。
第2段階では、ルートモデルの重みを平均化し、元のトレーニングされたモデルによって生成されたデータのみを使用して、特定のドメイン毎に微調整することで、ルートモデルとマージする。
論文 参考訳(メタデータ) (2021-06-07T17:59:04Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳(メタデータ) (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。