論文の概要: How Does the Smoothness Approximation Method Facilitate Generalization for Federated Adversarial Learning?

• arxiv url: http://arxiv.org/abs/2412.08282v2
• Date: Thu, 19 Dec 2024 06:35:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:28:13.152981
• Title: How Does the Smoothness Approximation Method Facilitate Generalization for Federated Adversarial Learning?
• Title（参考訳）: 相反学習におけるスムースネス近似法は一般化を実現するか?
• Authors: Wenjun Ding, Ying An, Lixing Chen, Shichao Kan, Fan Wu, Zhe Qu,
• Abstract要約: 一般化は、目に見えないデータに基づいてアルゴリズムのパフォーマンスを評価するために重要である。 2つのFALアルゴリズムの一般化性能を評価するアルゴリズム安定性尺度を開発した。 一般化誤差を低減するための最も効果的な方法としてRSAを同定する。
• 参考スコア（独自算出の注目度）: 15.082409524352316
• License:
• Abstract: Federated Adversarial Learning (FAL) is a robust framework for resisting adversarial attacks on federated learning. Although some FAL studies have developed efficient algorithms, they primarily focus on convergence performance and overlook generalization. Generalization is crucial for evaluating algorithm performance on unseen data. However, generalization analysis is more challenging due to non-smooth adversarial loss functions. A common approach to addressing this issue is to leverage smoothness approximation. In this paper, we develop algorithm stability measures to evaluate the generalization performance of two popular FAL algorithms: \textit{Vanilla FAL (VFAL)} and {\it Slack FAL (SFAL)}, using three different smooth approximation methods: 1) \textit{Surrogate Smoothness Approximation (SSA)}, (2) \textit{Randomized Smoothness Approximation (RSA)}, and (3) \textit{Over-Parameterized Smoothness Approximation (OPSA)}. Based on our in-depth analysis, we answer the question of how to properly set the smoothness approximation method to mitigate generalization error in FAL. Moreover, we identify RSA as the most effective method for reducing generalization error. In highly data-heterogeneous scenarios, we also recommend employing SFAL to mitigate the deterioration of generalization performance caused by heterogeneity. Based on our theoretical results, we provide insights to help develop more efficient FAL algorithms, such as designing new metrics and dynamic aggregation rules to mitigate heterogeneity.
• Abstract（参考訳）: FAL(Federated Adversarial Learning)は、FAL(Federated Adversarial Learning)に反抗する強力なフレームワークである。 いくつかのFAL研究は効率的なアルゴリズムを開発したが、主に収束性能と見落とし一般化に焦点を当てている。 一般化は、目に見えないデータに基づいてアルゴリズムのパフォーマンスを評価するために重要である。 しかし、非滑らかな対向損失関数のため、一般化解析はより困難である。 この問題に対処する一般的なアプローチは、滑らかさ近似を活用することである。 本稿では,3種類のスムーズな近似法を用いて,FALアルゴリズムの一般化性能を評価するアルゴリズム安定性尺度を開発する。 1) \textit{Surrogate Smoothness Approximation (SSA)、(2) \textit{Randomized Smoothness Approximation (RSA)、(3) \textit{Over-Parameterized Smoothness Approximation (OPSA)。 そこで本研究では,FALにおける一般化誤差を軽減するために,スムーズネス近似法を適切に設定する方法に関する疑問に答える。 さらに,RSAを一般化誤差を低減するための最も効果的な方法として同定する。 また,データ・ヘテロジニアスなシナリオでは,不均一性に起因する一般化性能の劣化を軽減するため,SFALを用いることを推奨する。 理論的結果に基づいて、新しいメトリクスや動的集約ルールを設計し、不均一性を緩和するなど、より効率的なFALアルゴリズムの開発を支援する知見を提供する。

関連論文リスト

• SALSA: Sequential Approximate Leverage-Score Algorithm with Application in Analyzing Big Time Series Data [46.42365692992566]
  ランダム化された数値線形代数の手法を用いて,効率的な逐次近似レバレッジスコアアルゴリズム(SALSA)を開発した。 SALSAの理論的計算複雑性と数値的精度が既存の近似を超えていることが示される。 提案アルゴリズムは高い確率で,真の基礎となるARMAモデルのパラメータの最大推定値を求めることを保証している。
  論文  参考訳（メタデータ） (2023-12-30T02:36:53Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Smoothing Advantage Learning [20.760987175553645]
  我々は、スムーシング・アドバンテージ・ラーニング (SAL) という、シンプルなアドバンテージ・ラーニング (AL) の変種を提案する。 提案手法は, 収束率と近似誤差の上界とのトレードオフを制御し, ALの訓練手順を安定させるだけでなく, 最適作用値と準最適作用値との作用ギャップを増大させることにも有用である。
  論文  参考訳（メタデータ） (2022-03-20T03:52:32Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Interpolation-based Contrastive Learning for Few-Label Semi-Supervised Learning [43.51182049644767]
  半教師付き学習(SSL)は,ラベルが限定された強力なモデルを構築する上で,有効な手法であることが長年証明されてきた。 摂動サンプルを元のものと類似した予測を強制する正規化に基づく手法が注目されている。 本稿では,学習ネットワークの埋め込みを誘導し,サンプル間の線形変化を誘導する新たな対照的な損失を提案する。
  論文  参考訳（メタデータ） (2022-02-24T06:00:05Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
  ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。 ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。 本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T08:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。