論文の概要: On the Escaping Efficiency of Distributed Adversarial Training Algorithms

• arxiv url: http://arxiv.org/abs/2509.11337v1
• Date: Sun, 14 Sep 2025 16:28:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.037459
• Title: On the Escaping Efficiency of Distributed Adversarial Training Algorithms
• Title（参考訳）: 分散逆数学習アルゴリズムのエスケープ効率について
• Authors: Ying Cao, Kun Yuan, Ali H. Sayed,
• Abstract要約: 近年,敵の攻撃に対するモデルロバスト性の向上に寄与するため,敵の訓練が広く研究されている。 本稿では,マルチエージェント学習環境における分散逆学習アルゴリズムの比較に焦点をあてる。
• 参考スコア（独自算出の注目度）: 36.68500267387553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training has been widely studied in recent years due to its role in improving model robustness against adversarial attacks. This paper focuses on comparing different distributed adversarial training algorithms--including centralized and decentralized strategies--within multi-agent learning environments. Previous studies have highlighted the importance of model flatness in determining robustness. To this end, we develop a general theoretical framework to study the escaping efficiency of these algorithms from local minima, which is closely related to the flatness of the resulting models. We show that when the perturbation bound is sufficiently small (i.e., when the attack strength is relatively mild) and a large batch size is used, decentralized adversarial training algorithms--including consensus and diffusion--are guaranteed to escape faster from local minima than the centralized strategy, thereby favoring flatter minima. However, as the perturbation bound increases, this trend may no longer hold. In the simulation results, we illustrate our theoretical findings and systematically compare the performance of models obtained through decentralized and centralized adversarial training algorithms. The results highlight the potential of decentralized strategies to enhance the robustness of models in distributed settings.
• Abstract（参考訳）: 近年,敵の攻撃に対するモデルロバスト性の向上に寄与するため,敵の訓練が広く研究されている。 本稿では,マルチエージェント学習環境において,分散学習アルゴリズム(集中型・分散型戦略を含む)の比較に焦点をあてる。 従来の研究は、ロバスト性を決定する上でのモデル平坦性の重要性を強調してきた。 この目的のために、我々は、これらのアルゴリズムのエスケープ効率を局所的なミニマから研究するための一般的な理論的枠組みを開発する。 摂動境界が十分に小さく(攻撃強度が比較的小さい場合)、大きなバッチサイズを使用する場合、集中的な戦略よりも局所的なミニマから脱却することが保証され、フラットなミニマが好まれることを示す。 しかし、摂動境界が大きくなるにつれて、この傾向はもはや止まらないかもしれない。 シミュレーションの結果,本研究の理論的知見を概説し,分散型および集中型対向学習アルゴリズムを用いて得られたモデルの性能を体系的に比較した。 その結果、分散環境でのモデルの堅牢性を高めるための分散戦略の可能性を強調した。

関連論文リスト

• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Attacks on Robust Distributed Learning Schemes via Sensitivity Curve Maximization [37.464005524259356]
  曲線の感度(SCM)に基づく新たな攻撃法を提案する。 我々は, 従来の頑健なアグリゲーションスキームを, 小さいが効果的な摂動を注入することで破壊できることを実証した。
  論文  参考訳（メタデータ） (2023-04-27T08:41:57Z)
• Decentralized Adversarial Training over Graphs [44.03711922549992]
  近年、敵攻撃に対する機械学習モデルの脆弱性が注目されている。 マルチエージェントシステムのための分散逆数フレームワークを開発する。
  論文  参考訳（メタデータ） (2023-03-23T15:05:16Z)
• Consensus Control for Decentralized Deep Learning [72.50487751271069]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。 理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。 私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
  論文  参考訳（メタデータ） (2021-02-09T13:58:33Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。