論文の概要: Federated Progressive Self-Distillation with Logits Calibration for Personalized IIoT Edge Intelligence

• arxiv url: http://arxiv.org/abs/2412.00410v1
• Date: Sat, 30 Nov 2024 09:32:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:46:40.129554
• Title: Federated Progressive Self-Distillation with Logits Calibration for Personalized IIoT Edge Intelligence
• Title（参考訳）: 個人化IIoTエッジインテリジェンスのためのログキャリブレーションによるフェデレーテッドプログレッシブ自己蒸留
• Authors: Yingchao Wang, Wenqi Niu,
• Abstract要約: 本研究では,ロジットキャリブレーションとプログレッシブ自己蒸留に基づく新しいPFL法であるフェデレートプログレッシブ自己蒸留(FedPSD)を提案する。 グローバルな知識を忘れる問題に対処するために,局所的なトレーニング損失に対するロジス校正手法を提案し,進歩的な自己蒸留戦略を設計する。
• 参考スコア（独自算出の注目度）: 0.1227734309612871
• License:
• Abstract: Personalized Federated Learning (PFL) focuses on tailoring models to individual IIoT clients in federated learning by addressing data heterogeneity and diverse user needs. Although existing studies have proposed effective PFL solutions from various perspectives, they overlook the issue of forgetting both historical personalized knowledge and global generalized knowledge during local training on clients. Therefore, this study proposes a novel PFL method, Federated Progressive Self-Distillation (FedPSD), based on logits calibration and progressive self-distillation. We analyze the impact mechanism of client data distribution characteristics on personalized and global knowledge forgetting. To address the issue of global knowledge forgetting, we propose a logits calibration approach for the local training loss and design a progressive self-distillation strategy to facilitate the gradual inheritance of global knowledge, where the model outputs from the previous epoch serve as virtual teachers to guide the training of subsequent epochs. Moreover, to address personalized knowledge forgetting, we construct calibrated fusion labels by integrating historical personalized model outputs, which are then used as teacher model outputs to guide the initial epoch of local self-distillation, enabling rapid recall of personalized knowledge. Extensive experiments under various data heterogeneity scenarios demonstrate the effectiveness and superiority of the proposed FedPSD method.
• Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(PFL)は、データの不均一性と多様なユーザニーズに対処することによって、フェデレーションラーニングにおける個々のIIoTクライアントにモデルをカスタマイズすることに焦点を当てている。 既存の研究では、様々な観点から効果的なPFLソリューションを提案しているが、クライアントでのローカルトレーニング中に、歴史的パーソナライズされた知識とグローバルな一般化された知識の両方を忘れるという問題を見逃している。 そこで本研究では,ロジットキャリブレーションとプログレッシブ自己蒸留に基づく新しいPFL法であるフェデレートプログレッシブ自己蒸留(FedPSD)を提案する。 クライアントデータ配信特性が個人的およびグローバルな知識の忘れ方に与える影響を解析する。 グローバルな知識を忘れる問題に対処するため,グローバルな知識の段階的継承を容易にするため,局所的な学習損失に対するロジス校正手法を提案する。 さらに, 個人化された知識を忘れないように, 過去の個人化されたモデル出力を統合し, 教師モデル出力として利用し, 個人化された知識の迅速なリコールを可能にすることで, 個人化された知識を忘れないように調整した融合ラベルを構築した。 種々のデータ不均一性シナリオ下での大規模な実験により,提案手法の有効性と優位性を示す。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Towards Personalized Federated Learning via Comprehensive Knowledge Distillation [21.026617948534707]
  フェデレートラーニング(Federated Learning)は、データプライバシを保護するために設計された分散機械学習パラダイムである。 様々なクライアント間でのデータの異質性は破滅的な忘れ込みをもたらし、モデルは新しい知識を取得しながら、過去の知識を急速に忘れてしまう。 本稿では,教師としてグローバルモデル,歴史モデル,学生としてローカルモデルを利用する,個人化された個人化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T00:17:36Z)
• Personalized Federated Learning with Adaptive Feature Aggregation and Knowledge Transfer [0.0]
  フェデレートラーニング(FL)は、分散データ上で単一のモデルを生成するための、プライバシ保護機械学習パラダイムとして人気がある。 適応的特徴集約と知識伝達(FedAFK)による個人化学習手法を提案する。 広範に使われている2つの不均一な条件下で3つのデータセットについて広範な実験を行い、提案手法が13の最先端ベースラインに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-19T11:32:39Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• PRIOR: Personalized Prior for Reactivating the Information Overlooked in Federated Learning [16.344719695572586]
  各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。 提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。 提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
  論文  参考訳（メタデータ） (2023-10-13T15:21:25Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
  FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。 他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。 さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
  論文  参考訳（メタデータ） (2023-01-21T16:20:57Z)
• Exploiting Personalized Invariance for Better Out-of-distribution Generalization in Federated Learning [13.246981646250518]
  本稿では, 個人化学習手法と比較して, 個人化非分散を探索する汎用的な二重正規化学習フレームワークを提案する。 本手法は,既存のフェデレーション学習や不変学習よりも,多様なアウト・オブ・ディストリビューションおよび非IIDデータケースにおいて優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-21T08:17:03Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。