論文の概要: Heterogeneous Federated Learning Using Knowledge Codistillation

• arxiv url: http://arxiv.org/abs/2310.02549v1
• Date: Wed, 4 Oct 2023 03:17:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 16:42:31.961943
• Title: Heterogeneous Federated Learning Using Knowledge Codistillation
• Title（参考訳）: 知識共蒸留を用いたヘテロジニアスフェデレート学習
• Authors: Jared Lichtarge and Ehsan Amid and Shankar Kumar and Tien-Ju Yang and Rohan Anil and Rajiv Mathews
• Abstract要約: 本稿では、プール全体における小さなモデルと、より高いキャパシティを持つクライアントのサブセットにおけるより大きなモデルをトレーニングする手法を提案する。 モデルは、パラメータを共有することなく、サーバ上のラベルなしデータセットを利用して、知識蒸留を介して情報を双方向に交換する。
• 参考スコア（独自算出の注目度）: 23.895665011884102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Averaging, and many federated learning algorithm variants which build upon it, have a limitation: all clients must share the same model architecture. This results in unused modeling capacity on many clients, which limits model performance. To address this issue, we propose a method that involves training a small model on the entire pool and a larger model on a subset of clients with higher capacity. The models exchange information bidirectionally via knowledge distillation, utilizing an unlabeled dataset on a server without sharing parameters. We present two variants of our method, which improve upon federated averaging on image classification and language modeling tasks. We show this technique can be useful even if only out-of-domain or limited in-domain distillation data is available. Additionally, the bi-directional knowledge distillation allows for domain transfer between the models when different pool populations introduce domain shift.
• Abstract（参考訳）: フェデレーション平均化(Federated Averaging)や、それに基づいて構築される多くのフェデレーション学習アルゴリズムのバリエーションには制限がある。 その結果、多くのクライアントで未使用のモデリング能力が発生し、モデル性能が制限される。 この問題に対処するために,プール全体の小さなモデルをトレーニングし,キャパシティの高いクライアントのサブセットでより大きなモデルをトレーニングする手法を提案する。 モデルは、パラメータを共有することなく、サーバ上のラベルなしデータセットを利用して、知識蒸留を介して情報を双方向に交換する。 本稿では,画像分類と言語モデリングタスクにおける平均化を改善する2種類の手法を提案する。 ドメイン外またはドメイン内蒸留データに制限がある場合でも,本手法は有用であることを示す。 さらに、双方向の知識蒸留は、異なるプール人口がドメインシフトを導入したとき、モデル間のドメイン転送を可能にする。

関連論文リスト

• Cross-Domain Content Generation with Domain-Specific Small Language Models [3.2772349789781616]
  そこで本研究では,2つのドメインに対して,コーヒーレントかつ関連する出力を生成するための小言語モデルを提案する。 それぞれのデータセットに合わせてカスタマイズされたカスタムトークン化ツールを利用することで、生成品質が大幅に向上することがわかった。 凍結層による知識拡張は,小言語モデルがドメイン固有のコンテンツを生成するのに有効な方法であることを示す。
  論文  参考訳（メタデータ） (2024-09-19T21:45:13Z)
• Federated Learning with a Single Shared Image [25.313809311019696]
  フェデレートラーニング(FL)は、複数のマシンがプライベートトレーニングデータを共有することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 1つの一般的な方法であるFedDFは、共通の共有データセットを使用して、このタスクに取り組むために蒸留を使用する。 本稿では,この知識蒸留法を,単一の共有画像にのみ依存するように改良する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T14:26:09Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Domain Discrepancy Aware Distillation for Model Aggregation in Federated Learning [47.87639746826555]
  サーバ・ツー・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアントの相違という2つの課題をドメインの相違によって集約モデルに導いた。 本稿では,領域差を考慮した蒸留に基づく適応的知識集約アルゴリズムFedD3Aを提案する。
  論文  参考訳（メタデータ） (2022-10-04T04:08:16Z)
• Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
  フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。 本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。 我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
  論文  参考訳（メタデータ） (2022-08-19T17:57:32Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• GAN Cocktail: mixing GANs without dataset access [18.664733153082146]
  実世界でしばしば発生する2つの制約を考えると、モデルマージの問題に取り組みます。 第一段階では、モデルルートと呼ぶ手法により、全てのモデルの重みを同じパラメータ空間に変換する。 第2段階では、ルートモデルの重みを平均化し、元のトレーニングされたモデルによって生成されたデータのみを使用して、特定のドメイン毎に微調整することで、ルートモデルとマージする。
  論文  参考訳（メタデータ） (2021-06-07T17:59:04Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。