論文の概要: FedKD-hybrid: Federated Hybrid Knowledge Distillation for Lithography Hotspot Detection
- arxiv url: http://arxiv.org/abs/2501.04066v1
- Date: Tue, 07 Jan 2025 12:12:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-09 14:54:56.394360
- Title: FedKD-hybrid: Federated Hybrid Knowledge Distillation for Lithography Hotspot Detection
- Title（参考訳）: FedKD-hybrid:リソグラフィホットスポット検出のためのハイブリッド知識蒸留
- Authors: Yuqi Li, Xingyou Lin, Kai Zhang, Chuanguang Yang, Zhongliang Guo, Jianping Gou, Yanli Li,
- Abstract要約: Federated Learning (FL)は機械学習(ML)ベースのリソグラフィホットスポット検出(LHD)のための新しいソリューションを提供する
本研究では、研究ギャップを軽減するためにFedKDhybridを提案する。具体的に、FedKD-hybridクライアントは、全参加者にまたがる複数の同一層と、グローバルコンセンサスを達成するためのパブリックデータセットに合意する。
- 参考スコア（独自算出の注目度）: 17.199310963315213
- License:
- Abstract: Federated Learning (FL) provides novel solutions for machine learning (ML)-based lithography hotspot detection (LHD) under distributed privacy-preserving settings. Currently, two research pipelines have been investigated to aggregate local models and achieve global consensus, including parameter/nonparameter based (also known as knowledge distillation, namely KD). While these two kinds of methods show effectiveness in specific scenarios, we note they have not fully utilized and transferred the information learned, leaving the potential of FL-based LDH remains unexplored. Thus, we propose FedKDhybrid in this study to mitigate the research gap. Specifically, FedKD-hybrid clients agree on several identical layers across all participants and a public dataset for achieving global consensus. During training, the trained local model will be evaluated on the public dataset, and the generated logits will be uploaded along with the identical layer parameters. The aggregated information is consequently used to update local models via the public dataset as a medium. We compare our proposed FedKD-hybrid with several state-of-the-art (SOTA) FL methods under ICCAD-2012 and FAB (real-world collected) datasets with different settings; the experimental results demonstrate the superior performance of the FedKD-hybrid algorithm. Our code is available at https://github.com/itsnotacie/NN-FedKD-hybrid
- Abstract（参考訳）: Federated Learning (FL)は、機械学習(ML)ベースのリソグラフィホットスポット検出(LHD)のための、分散プライバシ保護設定下での新しいソリューションを提供する。
現在、2つの研究パイプラインがローカルモデルを集約し、パラメータ/パラメータベース(知識蒸留、KDとも呼ばれる)を含むグローバルコンセンサスを達成するために調査されている。
これらの2種類の手法は特定のシナリオにおいて有効性を示すが、完全に活用されておらず、学習した情報を転送しておらず、FLベースのLDHの可能性は未解明のままである。
そこで本研究では,研究ギャップを軽減するためにFedKDhybridを提案する。
具体的には、FedKD-hybridクライアントは、すべての参加者にまたがる複数の同一のレイヤと、グローバルなコンセンサスを達成するためのパブリックデータセットに合意する。
トレーニング中、トレーニングされたローカルモデルがパブリックデータセットで評価され、生成されたログが同じレイヤパラメータとともにアップロードされる。
その結果、集約された情報は、メディアとしてパブリックデータセットを介してローカルモデルを更新するために使用される。
提案したFedKD-hybridとICCAD-2012およびFAB(実世界の収集)データセットの異なる条件下でのSOTA(State-of-the-art)FL法を比較し,FedKD-hybridアルゴリズムの優れた性能を示す。
私たちのコードはhttps://github.com/itsnotacie/NN-FedKD-hybridで利用可能です。
関連論文リスト
- Federated Impression for Learning with Distributed Heterogeneous Data [19.50235109938016]
フェデレートラーニング(FL)は、データを共有することなく、クライアント間で分散データセットから学習できるパラダイムを提供する。
FLでは、データ収集プロトコルや患者人口の多様さにより、異なる保健所のデータに準最適収束が一般的である。
我々は,グローバル情報を表す合成データをフェデレーションとして復元することで,破滅的な忘れを緩和するFedImpresを提案する。
論文 参考訳（メタデータ） (2024-09-11T15:37:52Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Fusion of Global and Local Knowledge for Personalized Federated Learning [75.20751492913892]
本稿では,低ランクおよびスパース分解を伴うパーソナライズされたモデルについて検討する。
我々はtextbfSparse と textbfRank を混合した2段階学習アルゴリズム textbfFederated Learning を提案する。
適切な仮定の下では、FedSLRによって訓練されたGKRが、少なくとも準線形に正規化問題の定常点に収束できることが示される。
論文 参考訳（メタデータ） (2023-02-21T23:09:45Z) - The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
論文 参考訳（メタデータ） (2023-01-21T16:20:57Z) - FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning [4.02923738318937]
異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。
我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
論文 参考訳（メタデータ） (2022-08-04T04:24:16Z) - FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。
我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-05-02T07:54:07Z) - FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated
Distillation [54.2658887073461]
非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。
本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。
FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
論文 参考訳（メタデータ） (2022-04-30T06:17:36Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z) - FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。
我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。
パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
論文 参考訳（メタデータ） (2021-01-27T10:10:18Z) - FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。
既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。
本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文 参考訳（メタデータ） (2020-12-06T15:46:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。