論文の概要: Robustness of deep learning classification to adversarial input on GPUs: asynchronous parallel accumulation is a source of vulnerability

• arxiv url: http://arxiv.org/abs/2503.17173v2
• Date: Fri, 22 Aug 2025 12:19:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 14:39:45.162187
• Title: Robustness of deep learning classification to adversarial input on GPUs: asynchronous parallel accumulation is a source of vulnerability
• Title（参考訳）: GPUにおける逆入力に対するディープラーニング分類のロバスト性:非同期並列蓄積は脆弱性の原因である
• Authors: Sanjif Shanmugavelu, Mathieu Taillefumier, Christopher Culver, Vijay Ganesh, Oscar Hernandez, Ada Sedova,
• Abstract要約: 機械学習(ML)分類モデルの安全性と信頼性の重要な尺度は、小さな、ターゲットとする入力摂動に抵抗する能力である。 浮動小数点非連想性がGPU上での非同期並列プログラミングと結合し,誤分類を生じさせることを示す。 また, 機械レベルの詳細を考慮しない場合, 標準対向ロバスト性は4.6まで過大評価されることが示唆された。
• 参考スコア（独自算出の注目度）: 4.054484966653432
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability of machine learning (ML) classification models to resist small, targeted input perturbations -- known as adversarial attacks -- is a key measure of their safety and reliability. We show that floating-point non-associativity (FPNA) coupled with asynchronous parallel programming on GPUs is sufficient to result in misclassification, without any perturbation to the input. Additionally, we show that standard adversarial robustness results may be overestimated up to 4.6 when not considering machine-level details. We develop a novel black-box attack using Bayesian optimization to discover external workloads that can change the instruction scheduling which bias the output of reductions on GPUs and reliably lead to misclassification. Motivated by these results, we present a new learnable permutation (LP) gradient-based approach to learning floating-point operation orderings that lead to misclassifications. The LP approach provides a worst-case estimate in a computationally efficient manner, avoiding the need to run identical experiments tens of thousands of times over a potentially large set of possible GPU states or architectures. Finally, using instrumentation-based testing, we investigate parallel reduction ordering across different GPU architectures under external background workloads, when utilizing multi-GPU virtualization, and when applying power capping. Our results demonstrate that parallel reduction ordering varies significantly across architectures under the first two conditions, substantially increasing the search space required to fully test the effects of this parallel scheduler-based vulnerability. These results and the methods developed here can help to include machine-level considerations into adversarial robustness assessments, which can make a difference in safety and mission critical applications.
• Abstract（参考訳）: 機械学習(ML)分類モデルが、小さな、ターゲットとする入力摂動(敵攻撃として知られる)に抵抗する能力は、その安全性と信頼性の重要な指標である。 浮動小数点非連想性(FPNA)とGPU上での非同期並列プログラミングは,入力の摂動を伴わずに誤分類を生じさせる。 さらに, マシンレベルの詳細を考慮しない場合, 標準対向ロバスト性は4.6まで過大評価される可能性がある。 我々はベイジアン最適化を用いた新たなブラックボックス攻撃を開発し、GPUの減算出力に偏った命令スケジューリングを変更でき、誤分類の確実な原因となる外部ワークロードを探索する。 これらの結果から,浮動小数点演算順序を学習するために,学習可能な順列(LP)に基づく新しいアプローチを提案する。 LPアプローチは計算的に効率的で最悪のケースを見積もっており、GPU状態やアーキテクチャの潜在的に大きなセットで何万回も同じ実験を実行する必要がなくなる。 最後に、インスツルメンテーションベースのテストを用いて、外部のバックグラウンドワークロード下での異なるGPUアーキテクチャ間の並列化順序付け、マルチGPU仮想化の利用、パワーキャッピングの適用について検討する。 その結果, 並列化順序付けは, 最初の2つの条件下ではアーキテクチャによって大きく異なることが示され, 並列スケジューラによる脆弱性の検証に要する検索スペースが大幅に増大した。 これらの結果と手法は、敵のロバスト性評価に機械レベルの考慮を組み込むことで、安全とミッションクリティカルな応用に違いをもたらす可能性がある。

関連論文リスト

• DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
  並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。 動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。 我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
  論文  参考訳（メタデータ） (2025-10-09T17:24:54Z)
• A Study of Skews, Imbalances, and Pathological Conditions in LLM Inference Deployment on GPU Clusters detectable from DPU [0.0]
  大規模トランスフォーマーベース言語モデル(LLM)における自己回帰推論は、実行効率に大きな課題をもたらす。 DPU支援フレームワークは、マルチノードテンソル並列推論における負荷不均衡のリアルタイム検出と緩和を可能にする。
  論文  参考訳（メタデータ） (2025-09-09T23:43:05Z)
• Hybrid Cryptographic Monitoring System for Side-Channel Attack Detection on PYNQ SoCs [0.0]
  AES-128暗号は理論的には安全であるが、組込みシステムに対するタイミングと障害注入攻撃による実用的展開には脆弱である。 本研究は、統計的しきい値と機械学習(ML)を組み合わせて、リアルタイムな異常検出を行う軽量な二重検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-29T13:13:43Z)
• Machine Learning for Consistency Violation Faults Analysis [0.0]
  本研究では,分散システムにおける整合性障害(cvfs)の影響を機械学習で解析する手法を提案する。 プログラム遷移ランクとそれに対応する効果を計算し,システム動作に対するcvfsの影響を定量化する。 実験の結果、有望な性能を示し、テスト損失は4.39、絶対誤差は1.5である。
  論文  参考訳（メタデータ） (2025-05-20T22:11:43Z)
• SpecEE: Accelerating Large Language Model Inference with Speculative Early Exiting [12.317709090608837]
  SpecEEは投機的早期終了を伴う高速推論エンジンである。 SpecEEはクラウドとPCのシナリオでそれぞれLlama2-7Bで2.25倍と2.43倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-04-11T02:38:53Z)
• QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge [55.75103034526652]
  ASIC のハードウェアアクセラレーションによる MDE モデルの定量化を後学習量子化に応用した QuartDepth を提案する。 提案手法では,重みとアクティベーションの両方を4ビット精度で定量化し,モデルサイズと計算コストを削減する。 我々は、カーネル融合とカスタマイズされた命令プログラム性をサポートすることにより、フレキシブルでプログラム可能なハードウェアアクセラレータを設計する。
  論文  参考訳（メタデータ） (2025-03-20T21:03:10Z)
• Outlier-Robust Training of Machine Learning Models [21.352210662488112]
  本稿では,外部学習を用いた機械学習モデルの学習のための適応交替アルゴリズムを提案する。 アルゴリズムは、各重みを更新しながら、非ロバスト損失の重み付きバージョンを使用してモデルを反復的に訓練する。 任意の外接点(すなわち、外接点に分布的な仮定がない)を考えると、ロバストな損失核のシグマの使用は収束の領域を増大させる。
  論文  参考訳（メタデータ） (2024-12-31T04:19:53Z)
• Impacts of floating-point non-associativity on reproducibility for HPC and deep learning applications [0.0]
  浮動小数点非連想性に起因する並列プログラムにおける変数の実行は、アルゴリズムに大きな影響を与えることが知られている。 並列プログラミングモデルにおける浮動小数点非連想性の統計的性質について検討する。 我々は、ディープラーニングのためのGPUデプロイメントのコンテキスト内で、最近追加されたPyTorchの決定論的オプションについて検討する。
  論文  参考訳（メタデータ） (2024-08-09T16:07:37Z)
• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• Multi-Level GNN Preconditioner for Solving Large Scale Problems [0.0]
  グラフニューラルネットワーク(GNN)はメッシュのような非構造化データから学ぶのに最適だが、小さな問題に制限されることが多い。 本稿では,GNNモデルを多レベルドメイン分解フレームワークに統合した新しいプレコンディショナーを提案する。 提案したGNNベースのプレコンディショナーは、Krylov法の効率を高めるために使用され、任意の精度の要求レベルに収束できるハイブリッド・ソルバとなる。
  論文  参考訳（メタデータ） (2024-02-13T08:50:14Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Robust Collaborative Learning with Linear Gradient Overhead [7.250306457887471]
  分散SGD(あるいはD-SGD)のような協調学習アルゴリズムは、故障する機械の傾向が強い。 我々は、標準仮定の下で確実に堅牢な新しいアルゴリズムであるMoNNAを提案する。 運動量とモデルドリフトの間の張力を制御する方法を提案する。
  論文  参考訳（メタデータ） (2022-09-22T11:26:25Z)
• Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
  ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。 最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。 本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
  論文  参考訳（メタデータ） (2022-08-17T05:49:52Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating [159.48259714642447]
  垂直拡張学習(VFL)は、多人数協調モデリングの要求とプライバシー漏洩の懸念により、注目を集めている。 我々は,vf$b2$を含む3つの新しいアルゴリズムを提案する新しいbftextlevel parallel architecture (vf$bfb2$)を提案する。
  論文  参考訳（メタデータ） (2021-03-01T12:34:53Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)
• Resource Allocation in Multi-armed Bandit Exploration: Overcoming Sublinear Scaling with Adaptive Parallelism [107.48538091418412]
  腕の引っ張りに様々な量の資源を割り当てることができる分割可能な資源にアクセス可能な場合,マルチアームの帯状地における探索について検討する。 特に、分散コンピューティングリソースの割り当てに重点を置いており、プル毎により多くのリソースを割り当てることで、結果をより早く得ることができます。
  論文  参考訳（メタデータ） (2020-10-31T18:19:29Z)
• MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
  この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。 驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
  論文  参考訳（メタデータ） (2020-04-16T16:20:53Z)
• DeeSCo: Deep heterogeneous ensemble with Stochastic Combinatory loss for gaze estimation [7.09232719022402]
  本研究では,2D/3D視線推定のためのヒートマップに基づく弱い予測器を,エンドツーエンドで訓練可能なアンサンブルとして導入する。 我々は,複数のデータセット上での2D/3D視線推定における最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-15T14:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。