Fugu-MT 論文翻訳(概要): CAFEDistill: Learning Personalized and Dynamic Models through Federated Early-Exit Network Distillation

論文の概要: CAFEDistill: Learning Personalized and Dynamic Models through Federated Early-Exit Network Distillation

arxiv url: http://arxiv.org/abs/2601.10015v1
Date: Thu, 15 Jan 2026 02:52:12 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-16 19:43:18.963217
Title: CAFEDistill: Learning Personalized and Dynamic Models through Federated Early-Exit Network Distillation
Title（参考訳）: CAFEDistill:Federated Early-Exit Network Distillationを通してパーソナライズドモデルと動的モデルを学ぶ
Authors: Boyi Liu, Zimu Zhou, Yongxin Tong,
Abstract要約: CAFEDistillは、Conflict-Aware Federated Exit Distillationフレームワークである。浅い出口と深い出口の間の干渉を軽減し、効果的なパーソナライズされた知識伝達を可能にする。精度を高め、推論コストを30.79%から46.86%削減する。
参考スコア（独自算出の注目度）: 19.929238121979708
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Personalized Federated Learning (PFL) enables collaboratively model training on decentralized, heterogeneous data while tailoring them to each client's unique distribution. However, existing PFL methods produce static models with a fixed tradeoff between accuracy and efficiency, limiting their applicability in environments where inference requirements vary with contexts and resource availability. Early-exit networks (EENs) offer adaptive inference by attaching intermediate classifiers. Yet integrating them into PFL is challenging due to client-wise heterogeneity and depth-wise interference arising from conflicting exit objectives. Prior studies fail to resolve both conflicts simultaneously, leading to suboptimal performance. In this paper, we propose CAFEDistill, a Conflict-Aware Federated Exit Distillation framework that jointly addresses these conflicts and extends PFL to early-exit networks. Through a progressive, depth-prioritized student coordination mechanism, CAFEDistill mitigates interference among shallow and deep exits while allowing effective personalized knowledge transfer across clients. Furthermore, it reduces communication overhead via a client-decoupled formulation. Extensive evaluations show that CAFEDistill outperforms the state-of-the-arts, achieving higher accuracy and reducing inference costs by 30.79%-46.86%.
Abstract（参考訳）: パーソナライズド・フェデレート・ラーニング(PFL)は、分散化された異種データのトレーニングを協調的にモデル化し、各クライアント固有のディストリビューションに合わせて調整する。しかし、既存のPFL手法は、精度と効率のトレードオフが固定された静的モデルを生成し、推論要求がコンテキストやリソースの可用性によって異なる環境での適用性を制限する。アーリーエグジットネットワーク(EEN)は中間分類器をアタッチすることで適応推論を提供する。しかし、これらをPFLに統合することは、クライアント側の不均一性と、競合するエグジットの目的から生じる深み側の干渉のために困難である。先行研究は、両方の対立を同時に解決することができず、最適以下のパフォーマンスに繋がる。本稿では、これらの競合に共同で対処し、PFLをアーリーエグジットネットワークに拡張する、コンフリクト・アウェア・フェデレート・エグジット蒸留フレームワークであるCAFEDistillを提案する。 CAFEDistillは、先進的で深層優先の学生調整機構を通じて、浅い出口と深い出口の間の干渉を緩和し、クライアント間で効果的なパーソナライズされた知識伝達を可能にする。さらに、クライアント非結合の定式化による通信オーバーヘッドを低減する。大規模な評価では、CAFEDistillは最先端技術より優れており、精度が高く、推論コストが30.79%-46.86%削減されている。

関連論文リスト

Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning [0.8220217498103312]
フェデレートラーニング(FL)は、データのプライバシを保持しながら、複数のクライアントにわたる分散モデルトレーニングを可能にする。本稿では、非バイアス圧縮機用に設計されたProjFLと、エラーフィードバック機構によるバイアス圧縮機のためのProjFL+EFの2つのアルゴリズムを紹介する。
論文参考訳（メタデータ） (2025-11-05T13:11:30Z)
CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
論文参考訳（メタデータ） (2025-10-23T05:10:06Z)
SPIRE: Conditional Personalization for Federated Diffusion Generative Models [7.8583640700306585]
Shared Backbone Personal Identity Representation Embeddings (SPIRE)は、FLで条件付き生成としてクライアント拡散ベースの生成をキャストするフレームワークである。 SPIREは、ネットワークを(i)人口レベルのスコア関数を学習する高容量なグローバルバックボーンと、(ii)ローカルデータ統計を符号化する軽量で学習可能なクライアント埋め込みに分解する。我々の分析は、クライアントの埋め込みが共有スコアネットワークをパーソナライズするバイアスとしてどのように振舞うかを示唆している。
論文参考訳（メタデータ） (2025-06-14T01:40:31Z)
Invariant Federated Learning for Edge Intelligence: Mitigating Heterogeneity and Asynchrony via Exit Strategy and Invariant Penalty [10.54196990763149]
本稿では,資源制約付きエッジインテリジェンスのための不変なフェデレーション学習システムを提案する。退避戦略と不変ペナルティを通じて異質性や非同期性の影響を軽減することができる。その結果,本システムは分散処理性能を向上し,Out-Of-Distributionの一般化において最先端のアルゴリズムより優れていることを示す。
論文参考訳（メタデータ） (2025-03-08T10:47:27Z)
FedAA: A Reinforcement Learning Perspective on Adaptive Aggregation for Fair and Robust Federated Learning [5.622065847054885]
Federated Learning (FL)は、分散デバイス間でのプライバシ保護モデルトレーニングのための有望なアプローチとして登場した。我々はtextbfAdaptive textbfAggregation を通じてクライアントのコントリビューションを最適化する textbfFedAA という新しい手法を導入し、悪意のあるクライアントに対するモデルロバスト性を高める。
論文参考訳（メタデータ） (2024-02-08T10:22:12Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-03-27T07:57:04Z)
Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文参考訳（メタデータ） (2023-03-01T06:16:15Z)
FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文参考訳（メタデータ） (2022-10-14T08:11:34Z)
Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文参考訳（メタデータ） (2021-06-20T13:51:18Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。