Fugu-MT 論文翻訳(概要): FedEGG: Federated Learning with Explicit Global Guidance

論文の概要: FedEGG: Federated Learning with Explicit Global Guidance

arxiv url: http://arxiv.org/abs/2404.11888v2
Date: Sun, 20 Apr 2025 06:29:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-30 16:01:08.998251
Title: FedEGG: Federated Learning with Explicit Global Guidance
Title（参考訳）: FedEGG: 明示的なグローバルガイダンスによるフェデレーションラーニング
Authors: Kun Zhai, Yifeng Gao, Difan Zou, Guangnan Ye, Siheng Chen, Xingjun Ma, Yu-Gang Jiang,
Abstract要約: フェデレートラーニング(FL)は、そのプライバシー保護の性質から、多様なアプリケーションにとって大きな可能性を秘めている。既存の手法は、最適化ベースのクライアント制約、適応的なクライアント選択、事前訓練されたモデルや合成データの使用によってこれらの課題に対処するのに役立つ。我々はbftextFedEGGを提案する。bftextFedEGGは、よく定義された、容易に収束できる学習タスクを用いて、グローバルガイドタスクを構築する新しいFLアルゴリズムである。
参考スコア（独自算出の注目度）: 90.04705121816185
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) holds great potential for diverse applications owing to its privacy-preserving nature. However, its convergence is often challenged by non-IID data distributions, limiting its effectiveness in real-world deployments. Existing methods help address these challenges via optimization-based client constraints, adaptive client selection, or the use of pre-trained models or synthetic data. In this work, we reinterpret these approaches as all introducing an \emph{implicit guiding task} to regularize and steer client learning. Following this insight, we propose to introduce an \emph{explicit global guiding task} into the current FL framework to improve convergence and performance. To this end, we present \textbf{FedEGG}, a new FL algorithm that constructs a global guiding task using a well-defined, easy-to-converge learning task based on a public dataset and Large Language Models (LLMs). This approach effectively combines the strengths of federated (the original FL task) and centralized (the global guiding task) learning. We provide a theoretical analysis of FedEGG's convergence, examining the impact of data heterogeneity between the guiding and FL tasks and the guiding strength. Our analysis derives an upper bound for the optimal guiding strength, offering practical insights for implementation. Empirically, FedEGG demonstrates superior performance over state-of-the-art FL methods under both IID and non-IID settings, and further improves their performances when combined.
Abstract（参考訳）: フェデレートラーニング(FL)は、そのプライバシー保護の性質から、多様なアプリケーションにとって大きな可能性を秘めている。しかし、その収束は非IIDデータ分散によってしばしば挑戦され、実世界の展開においてその有効性が制限される。既存の手法は、最適化ベースのクライアント制約、適応的なクライアント選択、事前訓練されたモデルや合成データの使用によってこれらの課題に対処するのに役立つ。本稿では,これらのアプローチを,クライアント学習の正規化とステアリングを行うために,emph{implicit guideiding task}を導入していると再解釈する。本稿では,現在のFLフレームワークに「emph{explicit global guideiding task」を導入し,収束と性能を改善することを提案する。この目的のために,公開データセットとLarge Language Models (LLMs) に基づいた,よく定義された,理解しやすい学習タスクを用いて,グローバルガイドタスクを構築する新しいFLアルゴリズムである \textbf{FedEGG} を提案する。このアプローチは、フェデレーション(元々のFLタスク)と集中型(グローバルガイドタスク)学習の強みを効果的に組み合わせている。本稿では,FedEGGの収束に関する理論的解析を行い,導出作業とFL作業との間のデータ不均一性の影響と導出強度について検討する。我々の分析は、最適指導力の上限を導き、実装のための実践的な洞察を提供する。実証的に、FedEGGはIIDおよび非IID設定下での最先端FL法よりも優れた性能を示し、組み合わせた場合の性能をさらに向上させる。

関連論文リスト

Learning Critically: Selective Self Distillation in Federated Learning on Non-IID Data [17.624808621195978]
フェデレートラーニングのための選択的自己蒸留法(FedSSD)を提案する。 FedSSDは、グローバルモデルの知識を自己蒸留することで、ローカル更新に適応的な制約を課している。他の最先端のFL法と比較して、より少ない通信ラウンドでの一般化と堅牢性を実現する。
論文参考訳（メタデータ） (2025-04-20T18:06:55Z)
FedPref: Federated Learning Across Heterogeneous Multi-objective Preferences [2.519319150166215]
Federated Learning(FL)は、トレーニングデータが分散デバイスによって所有され、共有できない設定のために開発された分散機械学習戦略である。 FLの現実的な設定への応用は、参加者間の不均一性に関連する新たな課題をもたらします。この設定でパーソナライズされたFLを促進するために設計された最初のアルゴリズムであるFedPrefを提案する。
論文参考訳（メタデータ） (2025-01-23T12:12:59Z)
FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-29T11:28:06Z)
Analytic Federated Learning [34.15482252496494]
我々は、分析的(クローズドな)ソリューションを連邦学習(FL)コミュニティにもたらす新しい訓練パラダイムである分析的連合学習(AFL)を紹介した。私たちのAFLは、分析学習からインスピレーションを受けています -- ニューラルネットワークを1つの時代における分析ソリューションでトレーニングする、勾配のないテクニックです。極めて非IIDな設定や多数のクライアントによるシナリオを含む、さまざまなFL設定で実験を行う。
論文参考訳（メタデータ） (2024-05-25T13:58:38Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Fact Checking Beyond Training Set [64.88575826304024]
本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
論文参考訳（メタデータ） (2024-03-27T15:15:14Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
$texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
論文参考訳（メタデータ） (2023-11-27T06:22:57Z)
Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文参考訳（メタデータ） (2023-10-27T17:22:09Z)
Federated Deep Equilibrium Learning: Harnessing Compact Global Representations to Enhance Personalization [23.340237814344377]
Federated Learning(FL)は、クライアントがデータを交換することなくグローバルモデルを協調的にトレーニングできる、画期的な分散学習パラダイムとして登場した。 FeDEQは,高効率なパーソナライズのために,コンパクトなグローバルデータ表現を利用するために,深い平衡学習とコンセンサス最適化を取り入れた新しいFLフレームワークである。 FeDEQは,訓練中の通信サイズを最大4倍,メモリフットプリントを1.5倍に削減しつつ,最先端のパーソナライズされたFL法の性能に適合することを示した。
論文参考訳（メタデータ） (2023-09-27T13:48:12Z)
UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2023-09-16T11:30:29Z)
FLamby: Datasets and Benchmarks for Cross-Silo Federated Learning in Realistic Healthcare Settings [51.09574369310246]
Federated Learning(FL)は、センシティブなデータを保持している複数のクライアントが協力して機械学習モデルをトレーニングできる新しいアプローチである。本稿では,医療分野に重点を置くクロスサイロ・データセット・スイートFLambyを提案し,クロスサイロ・FLの理論と実践のギャップを埋める。私たちのフレキシブルでモジュラーなスイートによって、研究者は簡単にデータセットをダウンロードし、結果を再現し、研究のためにさまざまなコンポーネントを再利用することができます。
論文参考訳（メタデータ） (2022-10-10T12:17:30Z)
A Competitive Method for Dog Nose-print Re-identification [46.94755073943372]
本稿では,CVPR 2022ペット生体認証における犬の鼻指紋認証(Re-ID)課題について提案する。複数のモデルが組み合わされ、テストセット上で86.67%のAUCが得られる。
論文参考訳（メタデータ） (2022-05-31T16:26:46Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。 BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文参考訳（メタデータ） (2020-12-02T12:18:27Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。