論文の概要: Robustness of deep learning classification to adversarial input on GPUs: asynchronous parallel accumulation is a source of vulnerability

• arxiv url: http://arxiv.org/abs/2503.17173v1
• Date: Fri, 21 Mar 2025 14:19:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:55:21.226395
• Title: Robustness of deep learning classification to adversarial input on GPUs: asynchronous parallel accumulation is a source of vulnerability
• Title（参考訳）: GPUにおける逆入力に対するディープラーニング分類のロバスト性:非同期並列蓄積は脆弱性の原因である
• Authors: Sanjif Shanmugavelu, Mathieu Taillefumier, Christopher Culver, Vijay Ganesh, Oscar Hernandez, Ada Sedova,
• Abstract要約: そこで本研究では,浮動小数点演算順序を学習し,誤分類に繋がる新しい学習可能な変分法(LP)を提案する。 このLPアプローチは、数万回同じ実験を実行する必要をなくし、計算的に効率的に最悪のケースを見積もる。
• 参考スコア（独自算出の注目度）: 6.403627167104689
• License:
• Abstract: The ability of machine learning (ML) classification models to resist small, targeted input perturbations - known as adversarial attacks - is a key measure of their safety and reliability. We show that floating-point non associativity (FPNA) coupled with asynchronous parallel programming on GPUs is sufficient to result in misclassification, without any perturbation to the input. Additionally, we show this misclassification is particularly significant for inputs close to the decision boundary and that standard adversarial robustness results may be overestimated up to 4.6% when not considering machine-level details. We first study a linear classifier, before focusing on standard Graph Neural Network (GNN) architectures and datasets. We present a novel black-box attack using Bayesian optimization to determine external workloads that bias the output of reductions on GPUs and reliably lead to misclassification. Motivated by these results, we present a new learnable permutation (LP) gradient-based approach, to learn floating point operation orderings that lead to misclassifications, making the assumption that any reduction or permutation ordering is possible. This LP approach provides a worst-case estimate in a computationally efficient manner, avoiding the need to run identical experiments tens of thousands of times over a potentially large set of possible GPU states or architectures. Finally, we investigate parallel reduction ordering across different GPU architectures for a reduction under three conditions: (1) executing external background workloads, (2) utilizing multi-GPU virtualization, and (3) applying power capping. Our results demonstrate that parallel reduction ordering varies significantly across architectures under the first two conditions. The results and methods developed here can help to include machine-level considerations into adversarial robustness assessments.
• Abstract（参考訳）: 機械学習(ML)分類モデルが、小さな、ターゲットとする入力摂動(敵攻撃として知られる)に抵抗する能力は、その安全性と信頼性の重要な指標である。 浮動小数点非連想性(FPNA)とGPU上での非同期並列プログラミングは,入力の摂動を伴わずに誤分類を生じさせる。 さらに、この誤分類は、決定境界に近い入力に対して特に重要であり、機械レベルの詳細を考慮しない場合、標準対向ロバスト性は最大4.6%まで過大評価される可能性があることを示す。 まず,標準グラフニューラルネットワーク(GNN)アーキテクチャとデータセットに注目する前に,線形分類器について検討する。 ベイジアン最適化を用いた新たなブラックボックス攻撃により,GPUの削減出力を偏り,誤分類の確実な原因となる外部ワークロードを決定する。 これらの結果から, 浮動小数点演算順序の誤分類につながる浮動小数点演算順序を学習し, 還元や置換順序が可能であると仮定する。 このLPアプローチは、計算的に効率的に最悪のケースを見積もることができ、GPU状態やアーキテクチャの潜在的に大きなセットで何万回も同じ実験を実行する必要がなくなる。 最後に,(1)外部のバックグラウンドワークロードの実行,(2)マルチGPU仮想化の利用,(3)パワーキャッピングの適用,という3つの条件下で,異なるGPUアーキテクチャ間の並列化順序付けについて検討する。 その結果, 並列化の順序付けは, 最初の2つの条件下ではアーキテクチャによって大きく異なることがわかった。 ここで開発された結果と手法は、敵の堅牢性評価に機械レベルの考慮を組み込むのに役立つ。

関連論文リスト

• Outlier-Robust Training of Machine Learning Models [21.352210662488112]
  本稿では,外部学習を用いた機械学習モデルの学習のための適応交替アルゴリズムを提案する。 アルゴリズムは、各重みを更新しながら、非ロバスト損失の重み付きバージョンを使用してモデルを反復的に訓練する。 任意の外接点(すなわち、外接点に分布的な仮定がない)を考えると、ロバストな損失核のシグマの使用は収束の領域を増大させる。
  論文  参考訳（メタデータ） (2024-12-31T04:19:53Z)
• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• Multi-Level GNN Preconditioner for Solving Large Scale Problems [0.0]
  グラフニューラルネットワーク(GNN)はメッシュのような非構造化データから学ぶのに最適だが、小さな問題に制限されることが多い。 本稿では,GNNモデルを多レベルドメイン分解フレームワークに統合した新しいプレコンディショナーを提案する。 提案したGNNベースのプレコンディショナーは、Krylov法の効率を高めるために使用され、任意の精度の要求レベルに収束できるハイブリッド・ソルバとなる。
  論文  参考訳（メタデータ） (2024-02-13T08:50:14Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Robust Collaborative Learning with Linear Gradient Overhead [7.250306457887471]
  分散SGD(あるいはD-SGD)のような協調学習アルゴリズムは、故障する機械の傾向が強い。 我々は、標準仮定の下で確実に堅牢な新しいアルゴリズムであるMoNNAを提案する。 運動量とモデルドリフトの間の張力を制御する方法を提案する。
  論文  参考訳（メタデータ） (2022-09-22T11:26:25Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating [159.48259714642447]
  垂直拡張学習(VFL)は、多人数協調モデリングの要求とプライバシー漏洩の懸念により、注目を集めている。 我々は,vf$b2$を含む3つの新しいアルゴリズムを提案する新しいbftextlevel parallel architecture (vf$bfb2$)を提案する。
  論文  参考訳（メタデータ） (2021-03-01T12:34:53Z)
• MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
  この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。 驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
  論文  参考訳（メタデータ） (2020-04-16T16:20:53Z)
• DeeSCo: Deep heterogeneous ensemble with Stochastic Combinatory loss for gaze estimation [7.09232719022402]
  本研究では,2D/3D視線推定のためのヒートマップに基づく弱い予測器を,エンドツーエンドで訓練可能なアンサンブルとして導入する。 我々は,複数のデータセット上での2D/3D視線推定における最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-15T14:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。