論文の概要: The Impact of Uniform Inputs on Activation Sparsity and Energy-Latency Attacks in Computer Vision
- arxiv url: http://arxiv.org/abs/2403.18587v1
- Date: Wed, 27 Mar 2024 14:11:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 16:38:49.173159
- Title: The Impact of Uniform Inputs on Activation Sparsity and Energy-Latency Attacks in Computer Vision
- Title（参考訳）: コンピュータビジョンにおける一様入力が活性化空間とエネルギー遅延攻撃に及ぼす影響
- Authors: Andreas Müller, Erwin Quiring,
- Abstract要約: 研究者は最近、ニューラルネットワークのエネルギー消費と決定レイテンシを高めるために、攻撃者が推論時にいわゆるスポンジ例を計算し、提出できることを実証した。
コンピュータビジョンでは、提案された戦略は、計算の高速化に使用可能なアクティベーションの間隔を小さくして入力を作成する。
均一な画像、すなわち、主に平坦で均一に色のついた表面を持つ画像は、畳み込み、バッチ正規化、ReLUアクティベーションの特定の相互作用により、より多くのアクティベーションをトリガーする。
- 参考スコア（独自算出の注目度）: 4.45482419850721
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Resource efficiency plays an important role for machine learning nowadays. The energy and decision latency are two critical aspects to ensure a sustainable and practical application. Unfortunately, the energy consumption and decision latency are not robust against adversaries. Researchers have recently demonstrated that attackers can compute and submit so-called sponge examples at inference time to increase the energy consumption and decision latency of neural networks. In computer vision, the proposed strategy crafts inputs with less activation sparsity which could otherwise be used to accelerate the computation. In this paper, we analyze the mechanism how these energy-latency attacks reduce activation sparsity. In particular, we find that input uniformity is a key enabler. A uniform image, that is, an image with mostly flat, uniformly colored surfaces, triggers more activations due to a specific interplay of convolution, batch normalization, and ReLU activation. Based on these insights, we propose two new simple, yet effective strategies for crafting sponge examples: sampling images from a probability distribution and identifying dense, yet inconspicuous inputs in natural datasets. We empirically examine our findings in a comprehensive evaluation with multiple image classification models and show that our attack achieves the same sparsity effect as prior sponge-example methods, but at a fraction of computation effort. We also show that our sponge examples transfer between different neural networks. Finally, we discuss applications of our findings for the good by improving efficiency by increasing sparsity.
- Abstract（参考訳）: 近年、資源効率は機械学習にとって重要な役割を担っている。
エネルギーと意思決定のレイテンシは、持続的で実用的なアプリケーションを保証するための2つの重要な側面です。
残念ながら、エネルギー消費と意思決定の遅延は敵に対して堅牢ではない。
研究者は最近、ニューラルネットワークのエネルギー消費と決定レイテンシを高めるために、攻撃者が推論時にいわゆるスポンジ例を計算し、提出できることを実証した。
コンピュータビジョンでは、提案された戦略は、計算の高速化に使用可能なアクティベーションの間隔を小さくして入力を作成する。
本稿では,これらのエネルギー遅延攻撃が活性化空間を減少させるメカニズムを解析する。
特に、入力の均一性が重要なイネーブラーであることがわかった。
均一な画像、すなわち、主に平坦で均一に色のついた表面を持つ画像は、畳み込み、バッチ正規化、ReLUアクティベーションの特定の相互作用により、より多くのアクティベーションをトリガーする。
これらの知見に基づいて、スポンジのサンプルを作成するための2つの新しいシンプルで効果的な戦略を提案する。
本研究では,複数の画像分類モデルを用いて総合評価を行い,従来のスポンジ・サンプル法と同等の空間効果を達成できることを示す。
また、スポンジサンプルが異なるニューラルネットワーク間で転送されることも示しています。
最後に, この結果の有効利用について検討し, 空間性の向上による効率向上について考察する。
関連論文リスト
- Sparse and Transferable Universal Singular Vectors Attack [5.498495800909073]
そこで本研究では, よりスムーズなホワイトボックス対逆攻撃を提案する。
我々のアプローチは、ジャコビアン行列の隠れた層の$(p,q)$-singularベクトルにスパーシティを提供するトラルキャットパワーに基づいている。
本研究は,攻撃をスパースする最先端モデルの脆弱性を実証し,堅牢な機械学習システムの開発の重要性を強調した。
論文 参考訳（メタデータ） (2024-01-25T09:21:29Z) - Investigating Human-Identifiable Features Hidden in Adversarial
Perturbations [54.39726653562144]
我々の研究では、最大5つの攻撃アルゴリズムを3つのデータセットにわたって探索する。
対人摂動における人間の識別可能な特徴を同定する。
画素レベルのアノテーションを用いて、そのような特徴を抽出し、ターゲットモデルに妥協する能力を実証する。
論文 参考訳（メタデータ） (2023-09-28T22:31:29Z) - Dual Adversarial Resilience for Collaborating Robust Underwater Image
Enhancement and Perception [54.672052775549]
本研究では,水中画像の強調と検出を行うために,CARNetと呼ばれる協調的対向レジリエンスネットワークを導入する。
本稿では,ネットワークが様々な種類の攻撃を識別・除去できるように,視覚駆動型と知覚駆動型の両方による同時攻撃訓練戦略を提案する。
実験により,提案手法は画像の高画質化を図り,最先端の手法よりも平均6.71%高い検出精度が得られた。
論文 参考訳（メタデータ） (2023-09-03T06:52:05Z) - Batching for Green AI -- An Exploratory Study on Inference [8.025202812165412]
5つの完全学習ニューラルネットワークのエネルギー消費と応答時間に及ぼす入力の影響について検討した。
一般的にエネルギー消費は、精度よりもはるかに急激なペースで増加し、この進化の必要性に疑問が呈される。
論文 参考訳（メタデータ） (2023-07-21T08:55:23Z) - Energy-Latency Attacks via Sponge Poisoning [29.779696446182374]
私たちは、スポンジ中毒と呼ばれる攻撃を通じて、トレーニング時にスポンジのサンプルを注入できることを最初に証明しました。
この攻撃により、各テストタイム入力において、機械学習モデルのエネルギー消費とレイテンシを無差別に増加させることができる。
論文 参考訳（メタデータ） (2022-03-14T17:18:10Z) - Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。
提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
論文 参考訳（メタデータ） (2021-11-25T05:51:03Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - The Impact of Activation Sparsity on Overfitting in Convolutional Neural
Networks [1.9424280683610138]
オーバーフィッティングは畳み込みニューラルネットワークのトレーニングにおける基本的な課題の1つです。
本研究では,レイヤワイドアクティベーション対策の導出と可視化を目的としたパープレキシティに基づく空間性定義を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:55:37Z) - Improving Adversarial Robustness via Channel-wise Activation Suppressing [65.72430571867149]
深層ニューラルネットワーク(DNN)を用いたセキュアで堅牢な学習において,その逆例とその活性化に関する研究が注目されている。
本稿では,チャネルワイドアクティベーションの観点から,敵対的事例の新たな特徴を2つ挙げる。
我々は,CASが本質的に敵の活性化を抑制するモデルを訓練でき,既存の防御手法にも容易に適用でき,より堅牢性を向上させることができることを示す。
論文 参考訳（メタデータ） (2021-03-11T03:44:16Z) - Towards Achieving Adversarial Robustness by Enforcing Feature
Consistency Across Bit Planes [51.31334977346847]
我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。
異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
論文 参考訳（メタデータ） (2020-04-01T09:31:10Z) - Exploiting the Full Capacity of Deep Neural Networks while Avoiding
Overfitting by Targeted Sparsity Regularization [1.3764085113103217]
オーバーフィッティングは、比較的小さなデータセットでディープニューラルネットワークをトレーニングする際の最も一般的な問題の1つである。
オーバーフィッティング対策として, 新規な対象空間可視化と正規化戦略を提案する。
論文 参考訳（メタデータ） (2020-02-21T11:38:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。