論文の概要: FedMTFI: Feature Importance Based Optimized Multi Teacher Knowledge Distillation in Heterogeneous Federated Learning Environment
- arxiv url: http://arxiv.org/abs/2606.01607v1
- Date: Mon, 01 Jun 2026 02:58:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.888511
- Title: FedMTFI: Feature Importance Based Optimized Multi Teacher Knowledge Distillation in Heterogeneous Federated Learning Environment
- Title（参考訳）: FedMTFI:不均一なフェデレーション学習環境における特徴重要度に基づく多教師知識蒸留
- Authors: Nazmus Shakib Shadin, Aaron Cummings, Xinyue Zhang, Bobin Deng,
- Abstract要約: フェデレートラーニング(FL)は、生データを公開せずに協調的なモデルトレーニングを可能にする分散型アプローチである。
我々は,多教師の知識蒸留(MTKD)と特徴的重要性を組み合わせた新しいアーキテクチャであるFedMTFIを提案し,不均一環境におけるFLプロセスを改善する。
- 参考スコア（独自算出の注目度）: 2.2783417909346926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a decentralized approach that enables collaborative model training without exposing raw data. Instead of transferring sensitive data, it allows devices to share only model weights, keeping personal data locally and secure. However, in real world settings, the data held by devices is often not evenly distributed and devices mostly differ in computing power and memory capacity. These differences make FL harder to maintain consistent performance across the system. To address these issues, we propose FedMTFI, a novel architecture that combines multi-teacher knowledge distillation (MTKD) with feature importance to improve the FL process in heterogeneous environments. In FedMTFI, clients are clustered based on similar hardware and model types. Each cluster trains a specific model on not independently and identically distributed (non-IID) data. Within a cluster, every client updates that model using only its own local private data. The server then aggregates the locally trained models in each cluster using FedAvg to form multiple prototype models. Then these prototypes serve as teacher models to train a global generalized student model using MTKD. What makes FedMTFI more unique is the integration of Shapley values (SHAP) to emphasize important features during distillation, which enhances both accuracy and interpretability. Experimental results show that FedMTFI achieves higher accuracy than traditional FL algorithms and performs more effectively under non-IID data conditions.
- Abstract（参考訳）: フェデレートラーニング(FL)は、生データを公開せずに協調的なモデルトレーニングを可能にする分散型アプローチである。
機密データを転送する代わりに、デバイスはモデルの重みだけを共有できる。
しかし、現実の環境では、デバイスが保持するデータは均等に分散されず、デバイスは主に計算能力とメモリ容量が異なる。
これらの違いにより、FLはシステム全体の一貫したパフォーマンスを維持するのが難しくなる。
これらの課題に対処するために,多教師の知識蒸留(MTKD)と特徴的重要性を組み合わせた新しいアーキテクチャであるFedMTFIを提案する。
FedMTFIでは、クライアントは同様のハードウェアとモデルタイプに基づいてクラスタ化される。
各クラスタは、独立ではなく、同一に分散された(非IID)データに基づいて、特定のモデルをトレーニングする。
クラスタ内では、各クライアントが独自のローカルプライベートデータのみを使用してモデルを更新する。
サーバはFedAvgを使用して各クラスタでローカルにトレーニングされたモデルを集約し、複数のプロトタイプモデルを生成する。
そして、これらのプロトタイプはMTKDを使ってグローバルな一般化された学生モデルを訓練する教師モデルとして機能する。
FedMTFIがよりユニークなのは、蒸留中の重要な特徴を強調するためにShapley値(SHAP)を統合することで、正確性と解釈性の両方を高めることである。
実験の結果,FedMTFIは従来のFLアルゴリズムよりも精度が高く,非IIDデータ条件下ではより効果的に動作することがわかった。
関連論文リスト
- One-shot Federated Learning via Synthetic Distiller-Distillate Communication [63.89557765137003]
One-shot Federated Learning (FL)は、単一のコミュニケーションで機械学習モデルの協調トレーニングを促進する強力な技術である。
我々はこれらの課題に対処するために,新しい,実用的なワンショットFLフレームワークであるFedSD2Cを提案する。
論文 参考訳（メタデータ） (2024-12-06T17:05:34Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - MultiConfederated Learning: Inclusive Non-IID Data handling with Decentralized Federated Learning [1.2726316791083532]
Federated Learning (FL) は、機密性のある臨床機械学習のようなユースケースを可能にするための、顕著なプライバシ保護技術として登場した。
FLはデータを所有するリモートデバイスによってトレーニングされたモデルを集約することで動作する。
非IIDデータを扱うために設計された分散FLフレームワークであるMultiConfederated Learningを提案する。
論文 参考訳（メタデータ） (2024-04-20T16:38:26Z) - The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
論文 参考訳（メタデータ） (2023-01-21T16:20:57Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳（メタデータ） (2021-08-19T12:20:31Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z) - Federated learning with hierarchical clustering of local updates to
improve training on non-IID data [3.3517146652431378]
一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。
階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。
FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
論文 参考訳（メタデータ） (2020-04-24T15:16:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。