論文の概要: Byzantine-Tolerant Methods for Distributed Variational Inequalities
- arxiv url: http://arxiv.org/abs/2311.04611v1
- Date: Wed, 8 Nov 2023 11:18:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 16:00:14.679938
- Title: Byzantine-Tolerant Methods for Distributed Variational Inequalities
- Title(参考訳): 分散変分不等式に対するビザンチン耐性法
- Authors: Nazarii Tupitsa, Abdulla Jasem Almansoori, Yanlin Wu, Martin
Tak\'a\v{c}, Karthik Nandakumar, Samuel Horv\'ath, Eduard Gorbunov
- Abstract要約: さまざまな分散トレーニングシナリオにおいて、ビザンチンの堅牢性は不可欠である。
我々の研究は、分散変分不等式に対するビザンチン・ロバストな方法を提供することにより、この方向をさらに一歩進める。
- 参考スコア(独自算出の注目度): 12.340793486560658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robustness to Byzantine attacks is a necessity for various distributed
training scenarios. When the training reduces to the process of solving a
minimization problem, Byzantine robustness is relatively well-understood.
However, other problem formulations, such as min-max problems or, more
generally, variational inequalities, arise in many modern machine learning and,
in particular, distributed learning tasks. These problems significantly differ
from the standard minimization ones and, therefore, require separate
consideration. Nevertheless, only one work (Adibi et al., 2022) addresses this
important question in the context of Byzantine robustness. Our work makes a
further step in this direction by providing several (provably) Byzantine-robust
methods for distributed variational inequality, thoroughly studying their
theoretical convergence, removing the limitations of the previous work, and
providing numerical comparisons supporting the theoretical findings.
- Abstract(参考訳): ビザンチン攻撃に対する堅牢性は、さまざまな分散トレーニングシナリオにおいて不可欠である。
トレーニングが最小化問題を解決するプロセスに還元されると、ビザンチンの堅牢性は比較的よく理解される。
しかし、min-max問題や、より一般的には変分不等式などの他の問題定式化は、多くの現代の機械学習、特に分散学習タスクで発生する。
これらの問題は標準最小化問題と大きく異なり、したがって別々に検討する必要がある。
それにもかかわらず、ビザンツの強固さという文脈において、この重要な疑問に答えるのは1つの著作(adibi et al., 2022)だけである。
本研究は, 分散変分不等式に対するビザンチン・ロバスト法を複数(確実に)提供し, 理論的収束を徹底的に研究し, 先行研究の限界を除去し, 理論的結果を支持する数値比較を行った。
関連論文リスト
- Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient [0.0]
ビザンチン-ロバストループレス変動低減勾配法(BR-LSVRG)を提案する。
強凸の場合、新しい方法の非漸近収束保証を導出する。
論文 参考訳(メタデータ) (2023-03-08T13:20:49Z) - Revisiting Modality Imbalance In Multimodal Pedestrian Detection [6.7841188753203046]
本稿では,マルチモーダルアーキテクチャにおける正規化器を用いた新しいトレーニング構成を導入し,モーダル間の相違を解消する。
具体的には,2つの特徴抽出器を訓練中に同等に重要視することにより,特徴融合法をより堅牢にすることを支援する。
論文 参考訳(メタデータ) (2023-02-24T11:56:57Z) - Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities [91.12425544503395]
変分不等式は平衡探索から逆学習まで様々な応用で用いられている。
ほとんどの分散アプローチには、通信コストというボトルネックがあります。
通信ラウンドの総数と1ラウンドのコストを削減する3つの主要な手法は、ローカル関数の類似性、送信された情報の圧縮、ローカル更新である。
本稿では,通信複雑性の理論的保証が最良であり,分散変動不等式に対する他の手法よりもはるかに優れていることを示す。
論文 参考訳(メタデータ) (2023-02-15T12:11:27Z) - SARAH-based Variance-reduced Algorithm for Stochastic Finite-sum
Cocoercive Variational Inequalities [137.6408511310322]
有限サムコヒーレンシブ変分不等式の問題を考える。
強い単調な問題に対しては、この方法を用いて解への線形収束を達成することができる。
論文 参考訳(メタデータ) (2022-10-12T08:04:48Z) - Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums [7.778461949427662]
分散機械学習コミュニティでは、ビザンチンレジリエンスが重要なトピックとして浮上した。
本稿では、最適なビザンチンレジリエンスを確立するための統一的なフレームワークであるemphRESAM(Regilient Averaging of Momentums)を提案する。
論文 参考訳(メタデータ) (2022-05-24T16:14:50Z) - Optimal Algorithms for Decentralized Stochastic Variational Inequalities [113.43047601775453]
この作業は、ますます重要になるが十分に理解されていない分散的な設定に集中する。
通信と局所的な繰り返しの両方の下位境界を示し、これらの下位境界に一致する最適なアルゴリズムを構築する。
我々のアルゴリズムは、分散化されたケースだけでなく、決定論的で非分散的な文献でも利用できる。
論文 参考訳(メタデータ) (2022-02-06T13:14:02Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳(メタデータ) (2021-10-29T13:30:42Z) - Stochastic Alternating Direction Method of Multipliers for
Byzantine-Robust Distributed Learning [22.835940007753376]
分離可能な問題構造を完全に活用する乗算器のビザンチン-ロバスト交互方向法(ADMM)を提案する。
理論的には、提案法は、穏やかな仮定の下で最適解の有界近傍に O(k) の速度で収束することが証明される。
MNISTとCVERTYPEデータセットの数値実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2021-06-13T01:17:31Z) - Constrained Learning with Non-Convex Losses [119.8736858597118]
学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
論文 参考訳(メタデータ) (2021-03-08T23:10:33Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳(メタデータ) (2020-12-19T15:24:04Z) - Byzantine-Robust Decentralized Stochastic Optimization over Static and
Time-Varying Networks [25.15075119957447]
我々は、分散化された静的および時間変化ネットワーク上で定義されたビザンチン-ロバスト最適化問題を考察する。
一部のエージェントは、データの破損、機器の故障、サイバー攻撃のために信頼できない。
ビザンツの攻撃に対処するための重要なアイデアは、ビザンツの無問題に対する全変量(TV)の正規化近似を定式化することです。
提案手法は,ビザンチンフリー最適解の近傍に到達し,ビザンチンエージェントの数とネットワークトポロジーによって地区の大きさが決定されることを示す。
論文 参考訳(メタデータ) (2020-05-12T04:18:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。