論文の概要: On the Effect of Defections in Federated Learning and How to Prevent Them

• arxiv url: http://arxiv.org/abs/2311.16459v1
• Date: Tue, 28 Nov 2023 03:34:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 20:24:11.541276
• Title: On the Effect of Defections in Federated Learning and How to Prevent Them
• Title（参考訳）: フェデレーション学習における障害の影響と対策について
• Authors: Minbiao Han, Kumar Kshitij Patel, Han Shao, Lingxiao Wang
• Abstract要約: フェデレートラーニング(Federated Learning)は、多数のエージェントが複数のラウンドで協力して単一のコンセンサスモデルを生成することができる、機械学習プロトコルである。 この研究は、そのような欠陥が最終モデルの堅牢性と一般化能力に与える影響を実証する。 本稿では,全てのエージェントに対して有効な解法を示すために,収束性を確保しつつ,欠陥の防止を理論的に保証する新しい最適化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 20.305263691102727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a machine learning protocol that enables a large population of agents to collaborate over multiple rounds to produce a single consensus model. There are several federated learning applications where agents may choose to defect permanently$-$essentially withdrawing from the collaboration$-$if they are content with their instantaneous model in that round. This work demonstrates the detrimental impact of such defections on the final model's robustness and ability to generalize. We also show that current federated optimization algorithms fail to disincentivize these harmful defections. We introduce a novel optimization algorithm with theoretical guarantees to prevent defections while ensuring asymptotic convergence to an effective solution for all participating agents. We also provide numerical experiments to corroborate our findings and demonstrate the effectiveness of our algorithm.
• Abstract（参考訳）: Federated Learningは、多数のエージェントが複数のラウンドで協力して単一のコンセンサスモデルを生成することができる、機械学習プロトコルである。 複数の連合学習アプリケーションがあり、エージェントは、そのラウンドの瞬間的なモデルで満足している場合、コラボレーションから永久的に$-$を引き出して、欠陥をなくすことができる。 この研究は、そのような欠陥が最終モデルの堅牢性と一般化能力に与える影響を実証する。 また、現在のフェデレーション最適化アルゴリズムは、これらの有害な欠陥を非インセンティブにしないことを示す。 提案手法は, 有効解に対する漸近収束性を確保しつつ, 欠陥防止を理論的に保証する新しい最適化アルゴリズムを提案する。 また,実験結果の相関やアルゴリズムの有効性を示す数値実験も行った。

関連論文リスト

• A Kernel Perspective on Distillation-based Collaborative Learning [8.971234046933349]
  統計的に異種環境において局所データやモデルを直接共有しない非パラメトリック協調学習アルゴリズムを提案する。 理論的結果から着想を得て,ニューラルネットワークアーキテクチャに基づく実用的蒸留に基づく協調学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-23T06:40:13Z)
• Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
  我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。 我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。 本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• A Data-Centric Approach for Improving Adversarial Training Through the Lens of Out-of-Distribution Detection [0.4893345190925178]
  複雑なアルゴリズムを適用して効果を緩和するのではなく, トレーニング手順から直接ハードサンプルを検出し, 除去することを提案する。 SVHN と CIFAR-10 データセットを用いた結果,計算コストの増大を伴わずに対角訓練の改善に本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-01-25T08:13:50Z)
• Proof of Swarm Based Ensemble Learning for Federated Learning Applications [3.2536767864585663]
  連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
  論文  参考訳（メタデータ） (2022-12-28T13:53:34Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• A Theoretical Perspective on Differentially Private Federated Multi-task Learning [12.935153199667987]
  プライバシーとユーティリティの両方に関して、協調学習モデルを開発する必要がある。 本稿では,クライアントレベルで保護する効果的なパラメータ転送差分プライバシーのための,新しいフェデレーションマルチタスクを提案する。 このような提案されたアルゴリズムに対して、プライバシユーティリティの両方の保証を提供するのは、当社が初めてです。
  論文  参考訳（メタデータ） (2020-11-14T00:53:16Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。