論文の概要: Trustworthiness of Stochastic Gradient Descent in Distributed Learning

• arxiv url: http://arxiv.org/abs/2410.21491v1
• Date: Mon, 28 Oct 2024 20:02:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:41:24.076882
• Title: Trustworthiness of Stochastic Gradient Descent in Distributed Learning
• Title（参考訳）: 分散学習における確率的グラディエントDescentの信頼性
• Authors: Hongyang Li, Caesar Wu, Mohammed Chadli, Said Mammar, Pascal Bouvry,
• Abstract要約: 分散学習(DL)は、複数のノードを活用してトレーニングを加速し、大規模モデルの効率的な最適化を可能にする。 鍵となる最適化アルゴリズムであるSGDは、このプロセスにおいて中心的な役割を果たす。 通信ボトルネックはしばしばスケーラビリティと効率を制限し、これらの課題を軽減するために圧縮されたSGD技術の採用が増加する。 通信オーバーヘッドに対処しているにもかかわらず、圧縮されたSGDは、ノード間の勾配交換がグラッドインバージョン(GradInv)やメンバーシップ推論攻撃(MIA)のような攻撃に弱いため、信頼性の懸念をもたらす。
• 参考スコア（独自算出の注目度）: 22.41687499847953
• License:
• Abstract: Distributed learning (DL) leverages multiple nodes to accelerate training, enabling the efficient optimization of large-scale models. Stochastic Gradient Descent (SGD), a key optimization algorithm, plays a central role in this process. However, communication bottlenecks often limit scalability and efficiency, leading to the increasing adoption of compressed SGD techniques to alleviate these challenges. Despite addressing communication overheads, compressed SGD introduces trustworthiness concerns, as gradient exchanges among nodes are vulnerable to attacks like gradient inversion (GradInv) and membership inference attacks (MIA). The trustworthiness of compressed SGD remains underexplored, leaving important questions about its reliability unanswered. In this paper, we provide a trustworthiness evaluation of compressed versus uncompressed SGD. Specifically, we conduct empirical studies using GradInv attacks, revealing that compressed SGD demonstrates significantly higher resistance to privacy leakage compared to uncompressed SGD. Moreover, our findings suggest that MIA may not be a reliable metric for assessing privacy risks in machine learning.
• Abstract（参考訳）: 分散学習(DL)は、複数のノードを活用してトレーニングを加速し、大規模モデルの効率的な最適化を可能にする。 鍵最適化アルゴリズムであるSGD(Stochastic Gradient Descent)はこのプロセスにおいて中心的な役割を果たす。 しかし、通信ボトルネックはしばしばスケーラビリティと効率を制限し、これらの課題を軽減するために圧縮されたSGD技術の採用が増加する。 通信オーバーヘッドに対処するにもかかわらず、圧縮されたSGDは、ノード間の勾配交換がグラッドインバージョン(GradInv)やメンバーシップ推論攻撃(MIA)のような攻撃に対して脆弱であるため、信頼性の懸念をもたらす。 圧縮されたSGDの信頼性は未調査であり、信頼性に関する重要な疑問は未解決のまま残されている。 本稿では,圧縮・非圧縮SGDの信頼性評価を行う。 具体的には、GradInv攻撃を用いた実証的研究を行い、圧縮されたSGDは、非圧縮されたSGDと比較して、プライバシー漏洩に対する耐性が著しく高いことを示した。 さらに,この結果から,MIAは機械学習におけるプライバシーリスクを評価するための信頼性の高い指標ではない可能性が示唆された。

関連論文リスト

• Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
  TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。 この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-10T07:32:40Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Privacy-Preserving Distributed Learning for Residential Short-Term Load Forecasting [11.185176107646956]
  電力システムの負荷データは、住宅ユーザの日常のルーチンを不注意に明らかにし、彼らの財産のセキュリティにリスクを及ぼす可能性がある。 我々はマルコフスイッチ方式の分散学習フレームワークを導入し、その収束は厳密な理論的解析によって実証される。 実世界の電力系統負荷データを用いたケーススタディにより,提案アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2024-02-02T16:39:08Z)
• Decentralized SGD and Average-direction SAM are Asymptotically Equivalent [101.37242096601315]
  分散勾配降下(D-SGD)は、中央サーバを制御せずに大規模デバイス上で協調学習を可能にする。 既存の理論では、分散化は必ず一般化される。
  論文  参考訳（メタデータ） (2023-06-05T14:19:52Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Implicit Regularization or Implicit Conditioning? Exact Risk Trajectories of SGD in High Dimensions [26.782342518986503]
  勾配降下(SGD)は現代の機械学習の柱であり、様々な問題に対するゴート最適化アルゴリズムとして機能している。 HSGD形式をストリーミングSGDに適合させる方法を示し、ストリーミングSGDと比較してマルチパスSGDの過大なリスクを正確に予測できることを示す。
  論文  参考訳（メタデータ） (2022-06-15T02:32:26Z)
• DataLens: Scalable Privacy Preserving Training via Gradient Compression and Aggregation [15.63770709526671]
  スケーラブルなプライバシー保護生成モデルDataLENSを提案します。 その結果,DATALENSは他のベースラインDP生成モデルよりも優れていた。 DataLENSの主要なビルディングブロックの一つである提案されたTOPAGGアプローチをDP SGDトレーニングに適応させます。
  論文  参考訳（メタデータ） (2021-03-20T06:14:19Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。