論文の概要: Machine Learning needs its own Randomness Standard: Randomised Smoothing
and PRNG-based attacks
- arxiv url: http://arxiv.org/abs/2306.14043v1
- Date: Sat, 24 Jun 2023 19:50:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 17:20:14.580002
- Title: Machine Learning needs its own Randomness Standard: Randomised Smoothing
and PRNG-based attacks
- Title（参考訳）: 機械学習には独自のランダムネス標準が必要だ:ランダム化されたスムーシングとPRNGベースの攻撃
- Authors: Pranav Dahiya, Ilia Shumailov, Ross Anderson
- Abstract要約: 攻撃者が一般的に依存するランダム性のみを用いて、機械学習システムに侵入できるかどうかを検討する。
我々はRandomized Smoothingを用いて任意のモデルの特定の入力データポイントを認証する。
攻撃者は供給されたランダム性をバックドアして、過大評価または過小評価のロバスト性を証明する。
- 参考スコア（独自算出の注目度）: 5.463417677777277
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Randomness supports many critical functions in the field of machine learning
(ML) including optimisation, data selection, privacy, and security. ML systems
outsource the task of generating or harvesting randomness to the compiler, the
cloud service provider or elsewhere in the toolchain. Yet there is a long
history of attackers exploiting poor randomness, or even creating it -- as when
the NSA put backdoors in random number generators to break cryptography. In
this paper we consider whether attackers can compromise an ML system using only
the randomness on which they commonly rely. We focus our effort on Randomised
Smoothing, a popular approach to train certifiably robust models, and to
certify specific input datapoints of an arbitrary model. We choose Randomised
Smoothing since it is used for both security and safety -- to counteract
adversarial examples and quantify uncertainty respectively. Under the hood, it
relies on sampling Gaussian noise to explore the volume around a data point to
certify that a model is not vulnerable to adversarial examples. We demonstrate
an entirely novel attack against it, where an attacker backdoors the supplied
randomness to falsely certify either an overestimate or an underestimate of
robustness. We demonstrate that such attacks are possible, that they require
very small changes to randomness to succeed, and that they can be hard to
detect. As an example, we hide an attack in the random number generator and
show that the randomness tests suggested by NIST fail to detect it. We advocate
updating the NIST guidelines on random number testing to make them more
appropriate for safety-critical and security-critical machine-learning
applications.
- Abstract（参考訳）: ランダム性は、最適化、データ選択、プライバシ、セキュリティなど、機械学習(ml)の分野で多くの重要な機能をサポートする。
MLシステムは、ツールチェーン内のコンパイラやクラウドサービスプロバイダなどに対してランダム性の生成または取得のタスクをアウトソースする。
Yet there is a long history of attackers exploiting poor randomness, or even creating it -- as when the NSA put backdoors in random number generators to break cryptography. In this paper we consider whether attackers can compromise an ML system using only the randomness on which they commonly rely. We focus our effort on Randomised Smoothing, a popular approach to train certifiably robust models, and to certify specific input datapoints of an arbitrary model. We choose Randomised Smoothing since it is used for both security and safety -- to counteract adversarial examples and quantify uncertainty respectively.
内部では、ガウスノイズをサンプリングしてデータポイント周辺の体積を探索し、モデルが敵の例に対して脆弱でないことを証明する。
我々は、攻撃者が供給されたランダム性をバックドアし、過大評価または過小評価のいずれかを誤って証明する全く新しい攻撃を示す。
このような攻撃は可能であり、成功するためにはランダム性に非常に小さな変更が必要であり、検出が困難であることを示す。
例えば、乱数生成器に攻撃を隠蔽し、NISTが提案したランダムネステストが検出できないことを示す。
我々は、安全クリティカルでセキュリティクリティカルな機械学習アプリケーションにもっと適するように、乱数テストに関するNISTガイドラインの更新を推奨する。
関連論文リスト
- Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳（メタデータ） (2024-07-15T23:41:11Z) - One-bit Flip is All You Need: When Bit-flip Attack Meets Model Training [54.622474306336635]
メモリフォールトインジェクション技術を利用したビットフリップ攻撃(BFA)と呼ばれる新たな重み修正攻撃が提案された。
本稿では,高リスクモデルを構築するための訓練段階に敵が関与する,訓練支援ビットフリップ攻撃を提案する。
論文 参考訳（メタデータ） (2023-08-12T09:34:43Z) - Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。
具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。
機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
論文 参考訳（メタデータ） (2023-05-03T20:31:13Z) - Testing randomness of series generated in Bell's experiment [62.997667081978825]
おもちゃの光ファイバーをベースとしたセットアップを用いてバイナリシリーズを生成し、そのランダム度をVilleの原理に従って評価する。
標準統計指標の電池、ハースト、コルモゴロフ複雑性、最小エントロピー、埋め込みのTakensarity次元、および拡張ディッキー・フラーとクワイアトコフスキー・フィリップス・シュミット・シン(英語版)でテストされ、ステーション指数をチェックする。
Toeplitz 抽出器を不規則級数に適用することにより得られる系列のランダム性のレベルは、非還元原料のレベルと区別できない。
論文 参考訳（メタデータ） (2022-08-31T17:39:29Z) - Source-independent quantum random number generator against tailored
detector blinding attacks [6.86599501487994]
本稿では,原因の脆弱性に対処する量子乱数生成プロトコルを提案する。
本研究では, パルスあたり0.1ビットの生成速度で2次元計測を行うために, ランダム数を生成するプロトコルの有効性を実験的に実証した。
論文 参考訳（メタデータ） (2022-04-26T08:47:37Z) - Certified Random Number Generation from Quantum Steering [1.0820909926464386]
非局所性を利用してデバイスへの信頼をなくすための認証ランダム性プロトコルが開発されている。
ここでは、量子ステアリングシナリオで動作するプロトコルを実装するために、フォトニックプラットフォームを使用します。
提案手法は,公あるいは私的ランダムネスのステアリングに基づくジェネレータと,検出ループを閉じた第1世代のランダムビットに対するアプローチを示す。
論文 参考訳（メタデータ） (2021-11-18T03:49:43Z) - Security and Privacy Enhanced Gait Authentication with Random
Representation Learning and Digital Lockers [3.3549957463189095]
慣性センサーによってキャプチャされた歩行データは、ユーザ認証において有望な結果を示している。
既存のほとんどのアプローチでは、登録された歩行パターンをパターンと一致させるために安全に保存しているため、重要なセキュリティとプライバシの問題が発生している。
本稿では,歩行データからユーザ認証のためのランダムキーを生成するゲイト暗号システムを提案する。
論文 参考訳（メタデータ） (2021-08-05T06:34:42Z) - Improved, Deterministic Smoothing for L1 Certified Robustness [119.86676998327864]
分割雑音を伴う非加法的決定論的平滑化法(dssn)を提案する。
一様加法平滑化とは対照的に、ssn認証は無作為なノイズコンポーネントを独立に必要としない。
これは、規範ベースの敵対的脅威モデルに対して決定論的「ランダム化平滑化」を提供する最初の仕事である。
論文 参考訳（メタデータ） (2021-03-17T21:49:53Z) - Randomness Concerns When Deploying Differential Privacy [0.25889737226898435]
米国国勢調査局は、2020年12月の人口・住宅国勢調査で収集された機密応答データを保護するために、差分プライバシーを使用している。
国勢調査局のDPシステムは、開示回避システム(DAS)に実装されており、乱数源を必要とする。
2020年の国勢調査では、人や家庭のテーブルを保護するために、およそ90TBのランダムバイトが必要になると見積もっている。
論文 参考訳（メタデータ） (2020-09-06T15:28:40Z) - Analyzing Accuracy Loss in Randomized Smoothing Defenses [35.407549905234994]
逆例は、機械学習アルゴリズムをクリティカルなコンテキストにデプロイする際の関心事である。
予測は、私たちが分類したい入力例にランダムノイズを加えることで滑らかになる。
ノイズレベルによっては, 平滑化による仮説の集合が縮小し, 平滑化後の自然な精度が低下する理由の1つが示唆された。
論文 参考訳（メタデータ） (2020-03-03T15:27:53Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。