論文の概要: On the Robustness of Distributed Machine Learning against Transfer Attacks

• arxiv url: http://arxiv.org/abs/2412.14080v1
• Date: Wed, 18 Dec 2024 17:27:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:24:38.231994
• Title: On the Robustness of Distributed Machine Learning against Transfer Attacks
• Title（参考訳）: 移動攻撃に対する分散機械学習のロバスト性について
• Authors: Sébastien Andreina, Pascal Zimmer, Ghassan Karame,
• Abstract要約: 学習プロセスと推論プロセスの両方を分散させることによる堅牢性の組み合わせについて、事前の研究は行われていない。 本研究では,MLインスタンスの適切な分散化により,最先端の転送ベース攻撃に対する精度損耗トレードオフの改善が達成されることを示す。
• 参考スコア（独自算出の注目度）: 1.0787328610467801
• License:
• Abstract: Although distributed machine learning (distributed ML) is gaining considerable attention in the community, prior works have independently looked at instances of distributed ML in either the training or the inference phase. No prior work has examined the combined robustness stemming from distributing both the learning and the inference process. In this work, we explore, for the first time, the robustness of distributed ML models that are fully heterogeneous in training data, architecture, scheduler, optimizer, and other model parameters. Supported by theory and extensive experimental validation using CIFAR10 and FashionMNIST, we show that such properly distributed ML instantiations achieve across-the-board improvements in accuracy-robustness tradeoffs against state-of-the-art transfer-based attacks that could otherwise not be realized by current ensemble or federated learning instantiations. For instance, our experiments on CIFAR10 show that for the Common Weakness attack, one of the most powerful state-of-the-art transfer-based attacks, our method improves robust accuracy by up to 40%, with a minimal impact on clean task accuracy.
• Abstract（参考訳）: 分散機械学習(分散ML)はコミュニティで注目されているが、以前の研究では、トレーニングまたは推論フェーズのいずれにおいても、分散MLのインスタンスを独立して検討してきた。 学習プロセスと推論プロセスの両方を分散させることによる堅牢性の組み合わせについて、事前の研究は行われていない。 本研究では、トレーニングデータ、アーキテクチャ、スケジューラ、オプティマイザ、その他のモデルパラメータにおいて完全に均一な分散MLモデルの堅牢性について、初めて検討する。 CIFAR10とFashionMNISTを用いた理論および広範囲な実験的検証により,これらのMLインスタンス化が,現在のアンサンブルやフェデレート学習インスタンス化では実現不可能な,最先端の転送ベース攻撃に対する精度損益性トレードオフを網羅的に改善することを示す。 例えば、CIFAR10における我々の実験では、最先端のトランスファーベース攻撃の一つであるCommon Weakness攻撃が、クリーンタスク精度に最小限の影響を伴って、ロバスト精度を最大40%向上することを示した。

関連論文リスト

• Enhancing Robust Fairness via Confusional Spectral Regularization [6.041034366572273]
  PAC-Bayesian フレームワーク内の最悪のクラスにおけるロバストなエラーに対して、ロバストな一般化を導出する。 本稿では,最低級のロバストな精度を向上し,ロバストな公正性を向上する新たな正則化手法を提案する。
  論文  参考訳（メタデータ） (2025-01-22T23:32:19Z)
• Fault Tolerant ML: Efficient Meta-Aggregation and Synchronous Training [8.419845742978985]
  分散機械学習(ML)システムにおけるビザンチン・ロバスト学習の挑戦的枠組みについて検討する。 最初のコントリビューションは,ベースラインアグリゲータを最適なパフォーマンスレベルにアップグレードする,効率的なメタアグリゲータの導入です。 本稿では,ビザンチン・ロバスト訓練の理論的および実践的優位性,特にチューニングプロセスの簡略化について述べる。
  論文  参考訳（メタデータ） (2024-05-23T16:29:30Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• Fair Robust Active Learning by Joint Inconsistency [22.150782414035422]
  本稿では,従来のFALと対角的堅牢性を統合したFAL(Fair Robust Active Learning)を提案する。 関節不整合(JIN)による簡易かつ効果的なFRAL戦略の開発 本手法は, 良性サンプルと逆性サンプルと, 標準モデルとロバストモデルとの整合性の予測を利用する。
  論文  参考訳（メタデータ） (2022-09-22T01:56:41Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Ensemble Learning-Based Approach for Improving Generalization Capability of Machine Reading Comprehension Systems [0.7614628596146599]
  機械読み取り(MRC)は、近年、多くの開発が成功した自然言語処理の活発な分野である。 分布精度が高いにもかかわらず、これらのモデルには2つの問題がある。 本稿では,大規模モデルを再学習することなく,MCCシステムの一般化を改善するためのアンサンブル学習手法の効果について検討する。
  論文  参考訳（メタデータ） (2021-07-01T11:11:17Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。