論文の概要: The Dog Walking Theory: Rethinking Convergence in Federated Learning

• arxiv url: http://arxiv.org/abs/2404.11888v1
• Date: Thu, 18 Apr 2024 04:25:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 19:41:09.842865
• Title: The Dog Walking Theory: Rethinking Convergence in Federated Learning
• Title（参考訳）: 犬の歩行理論:フェデレートラーニングにおける収束を再考する
• Authors: Kun Zhai, Yifeng Gao, Xingjun Ma, Difan Zou, Guangnan Ye, Yu-Gang Jiang,
• Abstract要約: Federated Learning(FL)は、さまざまなクライアントがプライベートデータを共有せずに、ひとつの強力なグローバルモデルをトレーニングできる、協調学習パラダイムである。 FLは様々なアプリケーションで有望な結果を示してきたが、異なるクライアント間でのデータ分散シフトに起因する収束問題に悩まされていることが知られている。 本稿では,クライアントのローカルトレーニングを指導するためのemphleashタスクとして,サーバ側の外部から容易に収束できるタスクを活用する新しいFLアルゴリズムemphFedWalkを提案する。
• 参考スコア（独自算出の注目度）: 68.63601691672815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a collaborative learning paradigm that allows different clients to train one powerful global model without sharing their private data. Although FL has demonstrated promising results in various applications, it is known to suffer from convergence issues caused by the data distribution shift across different clients, especially on non-independent and identically distributed (non-IID) data. In this paper, we study the convergence of FL on non-IID data and propose a novel \emph{Dog Walking Theory} to formulate and identify the missing element in existing research. The Dog Walking Theory describes the process of a dog walker leash walking multiple dogs from one side of the park to the other. The goal of the dog walker is to arrive at the right destination while giving the dogs enough exercise (i.e., space exploration). In FL, the server is analogous to the dog walker while the clients are analogous to the dogs. This analogy allows us to identify one crucial yet missing element in existing FL algorithms: the leash that guides the exploration of the clients. To address this gap, we propose a novel FL algorithm \emph{FedWalk} that leverages an external easy-to-converge task at the server side as a \emph{leash task} to guide the local training of the clients. We theoretically analyze the convergence of FedWalk with respect to data heterogeneity (between server and clients) and task discrepancy (between the leash and the original tasks). Experiments on multiple benchmark datasets demonstrate the superiority of FedWalk over state-of-the-art FL methods under both IID and non-IID settings.
• Abstract（参考訳）: Federated Learning(FL)は、さまざまなクライアントがプライベートデータを共有せずに、ひとつの強力なグローバルモデルをトレーニングできる、協調学習パラダイムである。 FLは様々なアプリケーションで有望な結果を示してきたが、特に非独立で同一の(非IID)データにおいて、異なるクライアント間でのデータ分散シフトに起因する収束問題に悩まされていることが知られている。 本稿では,非IIDデータに対するFLの収束性について検討し,既存の研究において欠落要素を定式化し,同定するための新しい「emph{Dog Walking Theory}」を提案する。 犬の散歩理論は、公園の片側からもう片側まで複数の犬を散歩する犬の散歩の綱の過程を記述している。 ドッグウォーカーの目標は、犬に十分な運動(すなわち宇宙探査)を与えながら、適切な目的地に到着することである。 FLでは、サーバは犬の歩行と類似し、クライアントは犬の類似である。 このアナロジーにより、既存のFLアルゴリズムにおける重要な要素の1つ、すなわちクライアントの探索を導くレッシュを特定できます。 このギャップに対処するために,クライアントのローカルトレーニングをガイドするために,サーバ側の外部で容易に収束できるタスクを \emph{leash task} として活用する新しいFLアルゴリズムである \emph{FedWalk} を提案する。 理論的には、FedWalkのデータ不均一性(サーバとクライアント間の)とタスクの不一致(レッシュと元のタスク間の)に関する収束を分析します。 複数のベンチマークデータセットの実験では、IDDおよび非IID設定下での最先端FL法よりもFedWalkの方が優れていることが示されている。

関連論文リスト

• Analytic Federated Learning [34.15482252496494]
  我々は、分析的(クローズドな)ソリューションを連邦学習(FL)コミュニティにもたらす新しい訓練パラダイムである分析的連合学習(AFL)を紹介した。 私たちのAFLは、分析学習からインスピレーションを受けています -- ニューラルネットワークを1つの時代における分析ソリューションでトレーニングする、勾配のないテクニックです。 極めて非IIDな設定や多数のクライアントによるシナリオを含む、さまざまなFL設定で実験を行う。
  論文  参考訳（メタデータ） (2024-05-25T13:58:38Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
  $texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。 ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T06:22:57Z)
• FLamby: Datasets and Benchmarks for Cross-Silo Federated Learning in Realistic Healthcare Settings [51.09574369310246]
  Federated Learning(FL)は、センシティブなデータを保持している複数のクライアントが協力して機械学習モデルをトレーニングできる新しいアプローチである。 本稿では,医療分野に重点を置くクロスサイロ・データセット・スイートFLambyを提案し,クロスサイロ・FLの理論と実践のギャップを埋める。 私たちのフレキシブルでモジュラーなスイートによって、研究者は簡単にデータセットをダウンロードし、結果を再現し、研究のためにさまざまなコンポーネントを再利用することができます。
  論文  参考訳（メタデータ） (2022-10-10T12:17:30Z)
• A Competitive Method for Dog Nose-print Re-identification [46.94755073943372]
  本稿では,CVPR 2022ペット生体認証における犬の鼻指紋認証(Re-ID)課題について提案する。 複数のモデルが組み合わされ、テストセット上で86.67%のAUCが得られる。
  論文  参考訳（メタデータ） (2022-05-31T16:26:46Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients [124.48732110742623]
  フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。 BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。 遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
  論文  参考訳（メタデータ） (2020-12-02T12:18:27Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。