Fugu-MT 論文翻訳(概要): The Dog Walking Theory: Rethinking Convergence in Federated Learning

論文の概要: The Dog Walking Theory: Rethinking Convergence in Federated Learning

arxiv url: http://arxiv.org/abs/2404.11888v1
Date: Thu, 18 Apr 2024 04:25:21 GMT
ステータス: 翻訳完了
システム内更新日: 2024-04-19 19:41:09.842865
Title: The Dog Walking Theory: Rethinking Convergence in Federated Learning
Title（参考訳）: 犬の歩行理論:フェデレートラーニングにおける収束を再考する
Authors: Kun Zhai, Yifeng Gao, Xingjun Ma, Difan Zou, Guangnan Ye, Yu-Gang Jiang,
Abstract要約: Federated Learning(FL)は、さまざまなクライアントがプライベートデータを共有せずに、ひとつの強力なグローバルモデルをトレーニングできる、協調学習パラダイムである。 FLは様々なアプリケーションで有望な結果を示してきたが、異なるクライアント間でのデータ分散シフトに起因する収束問題に悩まされていることが知られている。本稿では,クライアントのローカルトレーニングを指導するためのemphleashタスクとして,サーバ側の外部から容易に収束できるタスクを活用する新しいFLアルゴリズムemphFedWalkを提案する。
参考スコア（独自算出の注目度）: 68.63601691672815
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) is a collaborative learning paradigm that allows different clients to train one powerful global model without sharing their private data. Although FL has demonstrated promising results in various applications, it is known to suffer from convergence issues caused by the data distribution shift across different clients, especially on non-independent and identically distributed (non-IID) data. In this paper, we study the convergence of FL on non-IID data and propose a novel \emph{Dog Walking Theory} to formulate and identify the missing element in existing research. The Dog Walking Theory describes the process of a dog walker leash walking multiple dogs from one side of the park to the other. The goal of the dog walker is to arrive at the right destination while giving the dogs enough exercise (i.e., space exploration). In FL, the server is analogous to the dog walker while the clients are analogous to the dogs. This analogy allows us to identify one crucial yet missing element in existing FL algorithms: the leash that guides the exploration of the clients. To address this gap, we propose a novel FL algorithm \emph{FedWalk} that leverages an external easy-to-converge task at the server side as a \emph{leash task} to guide the local training of the clients. We theoretically analyze the convergence of FedWalk with respect to data heterogeneity (between server and clients) and task discrepancy (between the leash and the original tasks). Experiments on multiple benchmark datasets demonstrate the superiority of FedWalk over state-of-the-art FL methods under both IID and non-IID settings.
Abstract（参考訳）: Federated Learning(FL)は、さまざまなクライアントがプライベートデータを共有せずに、ひとつの強力なグローバルモデルをトレーニングできる、協調学習パラダイムである。 FLは様々なアプリケーションで有望な結果を示してきたが、特に非独立で同一の(非IID)データにおいて、異なるクライアント間でのデータ分散シフトに起因する収束問題に悩まされていることが知られている。本稿では,非IIDデータに対するFLの収束性について検討し,既存の研究において欠落要素を定式化し,同定するための新しい「emph{Dog Walking Theory}」を提案する。犬の散歩理論は、公園の片側からもう片側まで複数の犬を散歩する犬の散歩の綱の過程を記述している。ドッグウォーカーの目標は、犬に十分な運動(すなわち宇宙探査)を与えながら、適切な目的地に到着することである。 FLでは、サーバは犬の歩行と類似し、クライアントは犬の類似である。このアナロジーにより、既存のFLアルゴリズムにおける重要な要素の1つ、すなわちクライアントの探索を導くレッシュを特定できます。このギャップに対処するために,クライアントのローカルトレーニングをガイドするために,サーバ側の外部で容易に収束できるタスクを \emph{leash task} として活用する新しいFLアルゴリズムである \emph{FedWalk} を提案する。理論的には、FedWalkのデータ不均一性(サーバとクライアント間の)とタスクの不一致(レッシュと元のタスク間の)に関する収束を分析します。複数のベンチマークデータセットの実験では、IDDおよび非IID設定下での最先端FL法よりもFedWalkの方が優れていることが示されている。

関連論文リスト

Learning Critically: Selective Self Distillation in Federated Learning on Non-IID Data [17.624808621195978]
フェデレートラーニングのための選択的自己蒸留法(FedSSD)を提案する。 FedSSDは、グローバルモデルの知識を自己蒸留することで、ローカル更新に適応的な制約を課している。他の最先端のFL法と比較して、より少ない通信ラウンドでの一般化と堅牢性を実現する。
論文参考訳（メタデータ） (2025-04-20T18:06:55Z)
FedPref: Federated Learning Across Heterogeneous Multi-objective Preferences [2.519319150166215]
Federated Learning(FL)は、トレーニングデータが分散デバイスによって所有され、共有できない設定のために開発された分散機械学習戦略である。 FLの現実的な設定への応用は、参加者間の不均一性に関連する新たな課題をもたらします。この設定でパーソナライズされたFLを促進するために設計された最初のアルゴリズムであるFedPrefを提案する。
論文参考訳（メタデータ） (2025-01-23T12:12:59Z)
FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-29T11:28:06Z)
Analytic Federated Learning [34.15482252496494]
我々は、分析的(クローズドな)ソリューションを連邦学習(FL)コミュニティにもたらす新しい訓練パラダイムである分析的連合学習(AFL)を紹介した。私たちのAFLは、分析学習からインスピレーションを受けています -- ニューラルネットワークを1つの時代における分析ソリューションでトレーニングする、勾配のないテクニックです。極めて非IIDな設定や多数のクライアントによるシナリオを含む、さまざまなFL設定で実験を行う。
論文参考訳（メタデータ） (2024-05-25T13:58:38Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Fact Checking Beyond Training Set [64.88575826304024]
本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
論文参考訳（メタデータ） (2024-03-27T15:15:14Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
$texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
論文参考訳（メタデータ） (2023-11-27T06:22:57Z)
Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文参考訳（メタデータ） (2023-10-27T17:22:09Z)
Federated Deep Equilibrium Learning: Harnessing Compact Global Representations to Enhance Personalization [23.340237814344377]
Federated Learning(FL)は、クライアントがデータを交換することなくグローバルモデルを協調的にトレーニングできる、画期的な分散学習パラダイムとして登場した。 FeDEQは,高効率なパーソナライズのために,コンパクトなグローバルデータ表現を利用するために,深い平衡学習とコンセンサス最適化を取り入れた新しいFLフレームワークである。 FeDEQは,訓練中の通信サイズを最大4倍,メモリフットプリントを1.5倍に削減しつつ,最先端のパーソナライズされたFL法の性能に適合することを示した。
論文参考訳（メタデータ） (2023-09-27T13:48:12Z)
UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2023-09-16T11:30:29Z)
FLamby: Datasets and Benchmarks for Cross-Silo Federated Learning in Realistic Healthcare Settings [51.09574369310246]
Federated Learning(FL)は、センシティブなデータを保持している複数のクライアントが協力して機械学習モデルをトレーニングできる新しいアプローチである。本稿では,医療分野に重点を置くクロスサイロ・データセット・スイートFLambyを提案し,クロスサイロ・FLの理論と実践のギャップを埋める。私たちのフレキシブルでモジュラーなスイートによって、研究者は簡単にデータセットをダウンロードし、結果を再現し、研究のためにさまざまなコンポーネントを再利用することができます。
論文参考訳（メタデータ） (2022-10-10T12:17:30Z)
A Competitive Method for Dog Nose-print Re-identification [46.94755073943372]
本稿では,CVPR 2022ペット生体認証における犬の鼻指紋認証(Re-ID)課題について提案する。複数のモデルが組み合わされ、テストセット上で86.67%のAUCが得られる。
論文参考訳（メタデータ） (2022-05-31T16:26:46Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。 BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文参考訳（メタデータ） (2020-12-02T12:18:27Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。