論文の概要: Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums

• arxiv url: http://arxiv.org/abs/2205.12173v1
• Date: Tue, 24 May 2022 16:14:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-05-25 15:52:48.003251
• Title: Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums
• Title（参考訳）: モーメントのレジリエント平均化によるビザンチン機械学習
• Authors: Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, Rafael Pinot, John Stephan
• Abstract要約: 分散機械学習コミュニティでは、ビザンチンレジリエンスが重要なトピックとして浮上した。 本稿では、最適なビザンチンレジリエンスを確立するための統一的なフレームワークであるemphRESAM(Regilient Averaging of Momentums)を提案する。
• 参考スコア（独自算出の注目度）: 7.778461949427662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Byzantine resilience emerged as a prominent topic within the distributed machine learning community. Essentially, the goal is to enhance distributed optimization algorithms, such as distributed SGD, in a way that guarantees convergence despite the presence of some misbehaving (a.k.a., {\em Byzantine}) workers. Although a myriad of techniques addressing the problem have been proposed, the field arguably rests on fragile foundations. These techniques are hard to prove correct and rely on assumptions that are (a) quite unrealistic, i.e., often violated in practice, and (b) heterogeneous, i.e., making it difficult to compare approaches. We present \emph{RESAM (RESilient Averaging of Momentums)}, a unified framework that makes it simple to establish optimal Byzantine resilience, relying only on standard machine learning assumptions. Our framework is mainly composed of two operators: \emph{resilient averaging} at the server and \emph{distributed momentum} at the workers. We prove a general theorem stating the convergence of distributed SGD under RESAM. Interestingly, demonstrating and comparing the convergence of many existing techniques become direct corollaries of our theorem, without resorting to stringent assumptions. We also present an empirical evaluation of the practical relevance of RESAM.
• Abstract（参考訳）: 分散機械学習コミュニティでは、ビザンチンレジリエンスが重要なトピックとして浮上した。 基本的には、分散SGDのような分散最適化アルゴリズムを、不正行為(すなわちビザンティン)の労働者が存在するにもかかわらず収束を保証する方法で強化することを目的としている。 この問題に対処する数多くの技術が提案されているが、この分野は明らかに脆弱な基盤に依存している。 これらのテクニックは、正しいことを証明しにくく、仮定に依存する a)非常に非現実的、すなわち、しばしば実践において違反された、そして (b)異種、すなわち、アプローチの比較が困難である。 我々は、標準的な機械学習の仮定にのみ依存して、最適なビザンチンレジリエンスを確立するのを簡単にするための統一されたフレームワークである \emph{RESAM (RESilient Averaging of Momentums)} を提案する。 私たちのフレームワークは、主に2つのオペレータで構成されています:サーバの \emph{resilient averaging} とワーカーの \emph{distributed momentum} です。 分散SGDの収束を記述する一般定理をRESAMで証明する。 興味深いことに、多くの既存のテクニックの収束の証明と比較は、厳密な仮定を使わずに、定理の直接の仲間になる。 また,RESAMの実用的妥当性を実証的に評価した。

関連論文リスト

• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Invariance on Manifolds: Understanding Robust Visual Representations for Place Recognition [19.200074425090595]
  本稿では,2次幾何統計フレームワークを提案する。 提案手法では、固定されたトレーニング済みのバックボーン上に構築されたトレーニング不要のフレームワークを導入し、パラメータ更新なしで強力なゼロショット一般化を実現する。
  論文  参考訳（メタデータ） (2026-01-31T18:12:29Z)
• Toward Scalable and Valid Conditional Independence Testing with Spectral Representations [25.258360465513338]
  条件独立(CI)は多くの設定で追加の仮定なしでテストできない。 本稿では,部分共分散演算子の特異値分解から導出される表現を学習するために,実用的な2レベルコントラストアルゴリズムを提案する。 予備的な実験は、このアプローチがスケーラブルなCIテストへの実践的で統計的に根拠のあるパスを提供することを示唆している。
  論文  参考訳（メタデータ） (2025-12-22T16:05:18Z)
• Learning from N-Tuple Data with M Positive Instances: Unbiased Risk Estimation and Theoretical Guarantees [33.15955234458642]
  弱教師付き学習はしばしばラベルよりも粗い集約信号で機能する。 学習可能な未バイアスリスク推定器 (URE) をインスタンス生成プロセスと潜在限界値にリンクすることで, カウントが許容できることを示す。 我々は,理論上は基礎的かつ事実上安定的な目標設定によって,カウントオンリーの監視を効果的に活用できることを実証した。
  論文  参考訳（メタデータ） (2025-10-21T08:28:07Z)
• In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning [51.56484100374058]
  本稿では,ICLリスクをベイズギャップとポストリアバリアンスの2つのコンポーネントに分割する基本的リスク分解を導入する。 一様アテンション変換器の場合、このギャップの非漸近上界を導出し、事前学習プロンプトの数への依存を明確にする。 後方変動は本質的なタスクの不確実性を表すモデルに依存しないリスクである。
  論文  参考訳（メタデータ） (2025-10-13T03:42:31Z)
• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• f-FERM: A Scalable Framework for Robust Fair Empirical Risk Minimization [9.591164070876689]
  本稿では、f-divergence measures(f-FERM)に基づく公正な経験的リスクに対する統一的な最適化フレームワークを提案する。 さらに,f-FERMによるほぼ全てのバッチサイズに対するフェアネス・精度トレードオフの優位性を実証した。 我々の拡張は、不確実集合として$L_p$ノルムの下で f-FERM の目的を分布的に頑健に最適化する手法に基づいている。
  論文  参考訳（メタデータ） (2023-12-06T03:14:16Z)
• Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
  分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。 現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。 本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:50:30Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Adversarial Vulnerability of Randomized Ensembles [12.082239973914326]
  ランダム化アンサンブルは、通常のATモデルよりも、知覚不能な逆方向の摂動に対して脆弱であることを示す。 本稿では,適応PGDが実現しなかった場合においても,ランダムアンサンブルを再現できる理論的・効率的な攻撃アルゴリズム(ARC)を提案する。
  論文  参考訳（メタデータ） (2022-06-14T10:37:58Z)
• Combining Differential Privacy and Byzantine Resilience in Distributed SGD [9.14589517827682]
  本稿では,分散SGDアルゴリズムが標準パラメータサーバアーキテクチャにおいて,どの程度正確なモデルを学習できるかについて検討する。 特に$(alpha,f)$-Byzantineのレジリエンスに依存しているものは、正直な労働者がDPを強制すると無効となる。
  論文  参考訳（メタデータ） (2021-10-08T09:23:03Z)
• Adversarial Robustness of Supervised Sparse Coding [34.94566482399662]
  表現を学習すると同時に、正確な一般化境界と堅牢性証明を与えるモデルを考える。 線形エンコーダと組み合わされたスパーシティプロモーティングエンコーダを組み合わせた仮説クラスに着目した。 エンドツーエンドの分類のための堅牢性証明を提供する。
  論文  参考訳（メタデータ） (2020-10-22T22:05:21Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Better Fine-Tuning by Reducing Representational Collapse [77.44854918334232]
  既存の訓練済み言語モデルに対するアプローチは不安定であることが示されている。 本稿では,従来使用されていた対数目的をパラメトリックノイズに置き換える信頼領域理論に根ざした手法を提案する。 事前学習されたモデルは、微調整されるたびにより一般化可能な表現を維持している。
  論文  参考訳（メタデータ） (2020-08-06T02:13:16Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。