論文の概要: VPN: Verification of Poisoning in Neural Networks

• arxiv url: http://arxiv.org/abs/2205.03894v1
• Date: Sun, 8 May 2022 15:16:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-11 04:25:50.554937
• Title: VPN: Verification of Poisoning in Neural Networks
• Title（参考訳）: vpn:ニューラルネットワークにおける中毒の検証
• Authors: Youcheng Sun and Muhammad Usman and Divya Gopinath and Corina S. P\u{a}s\u{a}reanu
• Abstract要約: 我々は、別のニューラルネットワークセキュリティ問題、すなわちデータ中毒について研究する。 この場合、アタッカーがトレーニングデータのサブセットにトリガーを挿入するので、テスト時にこのトリガーが入力され、トレーニングされたモデルがターゲットクラスに誤って分類される。 我々は、市販の検証ツールでチェックできるプロパティとして、データ中毒のチェックを定式化する方法を示す。
• 参考スコア（独自算出の注目度）: 11.221552724154988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are successfully used in a variety of applications, many of them having safety and security concerns. As a result researchers have proposed formal verification techniques for verifying neural network properties. While previous efforts have mainly focused on checking local robustness in neural networks, we instead study another neural network security issue, namely data poisoning. In this case an attacker inserts a trigger into a subset of the training data, in such a way that at test time, this trigger in an input causes the trained model to misclassify to some target class. We show how to formulate the check for data poisoning as a property that can be checked with off-the-shelf verification tools, such as Marabou and nneum, where counterexamples of failed checks constitute the triggers. We further show that the discovered triggers are `transferable' from a small model to a larger, better-trained model, allowing us to analyze state-of-the art performant models trained for image classification tasks.
• Abstract（参考訳）: ニューラルネットワークは様々なアプリケーションでうまく使われており、その多くは安全性とセキュリティ上の懸念がある。 その結果、ニューラルネットワーク特性を検証するための正式な検証手法が提案されている。 これまでの研究は主に、ニューラルネットワークの局所的ロバスト性をチェックすることに重点を置いてきたが、代わりに別のニューラルネットワークのセキュリティ問題、すなわちデータ中毒の研究を行った。 この場合、アタッカーがトレーニングデータのサブセットにトリガーを挿入するので、テスト時にこのトリガーが入力され、トレーニングされたモデルがターゲットクラスに誤って分類される。 本稿では,marabou や nneum などのオフセット検証ツールでチェック可能なプロパティとしてデータ中毒チェックを定式化する方法を示し,失敗チェックの反例がトリガを構成する。 さらに,検出されたトリガが小モデルからより大きく,より訓練されたモデルに‘転送可能’であることを示し,画像分類タスクで訓練された最先端のパフォーマンスモデルの解析を可能にした。

関連論文リスト

• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
  周波数領域に基づく一般化されたバックドア攻撃手法を提案する。 トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。 我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
  論文  参考訳（メタデータ） (2022-07-09T07:05:53Z)
• AntidoteRT: Run-time Detection and Correction of Poison Attacks on Neural Networks [18.461079157949698]
  画像分類ネットワークに対する バックドア毒殺攻撃 本稿では,毒殺攻撃に対する簡易な自動検出・補正手法を提案する。 我々の手法は、一般的なベンチマークにおいて、NeuralCleanseやSTRIPといった既存の防御よりも優れています。
  論文  参考訳（メタデータ） (2022-01-31T23:42:32Z)
• Sleeper Agent: Scalable Hidden Trigger Backdoors for Neural Networks Trained from Scratch [99.90716010490625]
  バックドア攻撃者は、トレーニングデータを改ざんして、そのデータに基づいてトレーニングされたモデルに脆弱性を埋め込む。 この脆弱性は、モデル入力に"トリガー"を配置することで、推論時にアクティベートされる。 我々は,工芸過程において,勾配マッチング,データ選択,ターゲットモデル再トレーニングを利用した新しい隠れトリガ攻撃,Sleeper Agentを開発した。
  論文  参考訳（メタデータ） (2021-06-16T17:09:55Z)
• TOP: Backdoor Detection in Neural Networks via Transferability of Perturbation [1.52292571922932]
  トレーニングデータやサンプルトリガにアクセスせずにトレーニングされたモデルのバックドアを検出することは、重要なオープン問題である。 本稿では,これらのモデルの興味深い性質を同定する: クリーンモデルよりも毒性モデルの方が画像から画像への逆摂動の伝達が容易である。 この機能を使用して、TrojAIベンチマークの有毒モデルと、追加モデルを検出します。
  論文  参考訳（メタデータ） (2021-03-18T14:13:30Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• Detecting Backdoors in Neural Networks Using Novel Feature-Based Anomaly Detection [16.010654200489913]
  本稿では,ニューラルネットワークのバックドア攻撃に対する新たな防御法を提案する。 バックドアネットワークの機能抽出層が新機能を組み込んでトリガーの存在を検出するという直感に基づいている。 バックドアの検出には、クリーンな検証データに基づいて訓練された2つの相乗的異常検出器を使用する。
  論文  参考訳（メタデータ） (2020-11-04T20:33:51Z)
• Cassandra: Detecting Trojaned Networks from Adversarial Perturbations [92.43879594465422]
  多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。 本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。 本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
  論文  参考訳（メタデータ） (2020-07-28T19:00:40Z)
• Scalable Backdoor Detection in Neural Networks [61.39635364047679]
  ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。 本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。 実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
  論文  参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。