論文の概要: RESIST: Resilient Decentralized Learning Using Consensus Gradient Descent

• arxiv url: http://arxiv.org/abs/2502.07977v1
• Date: Tue, 11 Feb 2025 21:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:49:25.391616
• Title: RESIST: Resilient Decentralized Learning Using Consensus Gradient Descent
• Title（参考訳）: RESIST: Resilient Decentralized Learning using Consensus Gradient Descent
• Authors: Cheng Fang, Rishabh Dixit, Waheed U. Bajwa, Mert Gurbuzbalaban,
• Abstract要約: 経験的堅牢性リスク(ERM)は、現代の機械学習(ML)の基盤である 本稿では,MITM(man-in-the-middle)攻撃に焦点をあてる。 本稿では,敵に妥協された通信リンクに対して堅牢なアルゴリズムであるRESISTを提案する。
• 参考スコア（独自算出の注目度）: 11.22833419439317
• License:
• Abstract: Empirical risk minimization (ERM) is a cornerstone of modern machine learning (ML), supported by advances in optimization theory that ensure efficient solutions with provable algorithmic convergence rates, which measure the speed at which optimization algorithms approach a solution, and statistical learning rates, which characterize how well the solution generalizes to unseen data. Privacy, memory, computational, and communications constraints increasingly necessitate data collection, processing, and storage across network-connected devices. In many applications, these networks operate in decentralized settings where a central server cannot be assumed, requiring decentralized ML algorithms that are both efficient and resilient. Decentralized learning, however, faces significant challenges, including an increased attack surface for adversarial interference during decentralized learning processes. This paper focuses on the man-in-the-middle (MITM) attack, which can cause models to deviate significantly from their intended ERM solutions. To address this challenge, we propose RESIST (Resilient dEcentralized learning using conSensus gradIent deScenT), an optimization algorithm designed to be robust against adversarially compromised communication links. RESIST achieves algorithmic and statistical convergence for strongly convex, Polyak-Lojasiewicz, and nonconvex ERM problems. Experimental results demonstrate the robustness and scalability of RESIST for real-world decentralized learning in adversarial environments.
• Abstract（参考訳）: 経験的リスク最小化(英語: Empirical Risk Minimization、ERM)は、最適化理論の進歩によって支えられ、最適化アルゴリズムが解に近づく速度を計測する証明可能なアルゴリズム収束率と、解が目に見えないデータにどのように一般化するかを特徴付ける統計学習率による効率的な解を確保する。 プライバシ、メモリ、計算、通信の制約により、ネットワークに接続されたデバイス間でのデータ収集、処理、ストレージがますます必要になる。 多くのアプリケーションにおいて、これらのネットワークは中央サーバーを仮定できない分散化された環境で動作し、効率的かつレジリエントな分散MLアルゴリズムを必要とする。 しかし、分散学習は、分散学習プロセス中の敵の干渉に対する攻撃面の増加など、重大な課題に直面している。 本稿では,MITM(man-in-the-middle)攻撃に焦点をあてる。 この課題に対処するために,攻撃的通信リンクに対して堅牢な最適化アルゴリズムであるRESIST(Resilient dEcentralized learning using conSensus gradIent deScenT)を提案する。 RESISTは、強い凸、Polyak-Lojasiewicz、および非凸ERM問題に対するアルゴリズム的および統計的収束を実現する。 実環境における実世界の分散学習におけるRESISTの堅牢性と拡張性を示す実験結果を得た。

関連論文リスト

• Learning for Cross-Layer Resource Allocation in MEC-Aided Cell-Free Networks [71.30914500714262]
  移動エッジコンピューティング(MEC)を援用したセルフリーネットワーク上でのクロスレイヤリソース割り当ては、データレートを促進するために、送信およびコンピューティングリソースを十分に活用することができる。 深層学習の観点からMEC支援セルフリーネットワークのサブキャリア配置とビームフォーミング最適化について検討した。
  論文  参考訳（メタデータ） (2024-12-21T10:18:55Z)
• Robust Decentralized Learning with Local Updates and Gradient Tracking [16.46727164965154]
  分散学習をクライアントやノードのネットワークとみなす。 本稿では,局所的な更新と勾配追跡という2つの重要なデータを利用する分散化ミニマックス最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-05-02T03:03:34Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Serverless Federated AUPRC Optimization for Multi-Party Collaborative Imbalanced Data Mining [119.89373423433804]
  有効指標としてAUPRC(Area Under Precision-Recall)を導入した。 サーバーレスのマルチパーティ共同トレーニングは、サーバーノードのボトルネックを避けることで通信コストを削減できる。 本稿では,AUPRCを直接最適化する ServerLess biAsed sTochastic gradiEnt (SLATE) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-06T06:51:32Z)
• DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization [43.31016937305845]
  インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。 非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。 詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
  論文  参考訳（メタデータ） (2021-10-04T03:17:41Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)
• Differentially Private Federated Learning for Resource-Constrained Internet of Things [24.58409432248375]
  フェデレーション学習は、中央にデータをアップロードすることなく、分散されたスマートデバイスから大量のデータを分析できる。 本稿では、IoTのリソース制約されたスマートデバイスにまたがるデータから機械学習モデルを効率的にトレーニングするためのDP-PASGDと呼ばれる新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-28T04:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。