論文の概要: SEA: Shareable and Explainable Attribution for Query-based Black-box Attacks

• arxiv url: http://arxiv.org/abs/2308.11845v1
• Date: Wed, 23 Aug 2023 00:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 16:18:24.334996
• Title: SEA: Shareable and Explainable Attribution for Query-based Black-box Attacks
• Title（参考訳）: SEA:クエリベースのブラックボックス攻撃に対する共有可能で説明可能な属性
• Authors: Yue Gao, Ilia Shumailov, Kassem Fawaz
• Abstract要約: 本稿では,MLシステムに対するブラックボックス攻撃を特徴付ける機械学習セキュリティシステムSEAを紹介する。 本研究は,SEAが2回目の発生においても,攻撃帰属に有効であることを示す。 また、SEAは、90% Top-1 と95% Top-3 の精度で、同一攻撃の2回目の発生を認識できることを示した。
• 参考スコア（独自算出の注目度）: 28.736776243428654
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine Learning (ML) systems are vulnerable to adversarial examples, particularly those from query-based black-box attacks. Despite various efforts to detect and prevent such attacks, there is a need for a more comprehensive approach to logging, analyzing, and sharing evidence of attacks. While classic security benefits from well-established forensics and intelligence sharing, Machine Learning is yet to find a way to profile its attackers and share information about them. In response, this paper introduces SEA, a novel ML security system to characterize black-box attacks on ML systems for forensic purposes and to facilitate human-explainable intelligence sharing. SEA leverages the Hidden Markov Models framework to attribute the observed query sequence to known attacks. It thus understands the attack's progression rather than just focusing on the final adversarial examples. Our evaluations reveal that SEA is effective at attack attribution, even on their second occurrence, and is robust to adaptive strategies designed to evade forensics analysis. Interestingly, SEA's explanations of the attack behavior allow us even to fingerprint specific minor implementation bugs in attack libraries. For example, we discover that the SignOPT and Square attacks implementation in ART v1.14 sends over 50% specific zero difference queries. We thoroughly evaluate SEA on a variety of settings and demonstrate that it can recognize the same attack's second occurrence with 90+% Top-1 and 95+% Top-3 accuracy.
• Abstract（参考訳）: 機械学習(ML)システムは、特にクエリベースのブラックボックス攻撃による敵の例に対して脆弱である。 このような攻撃を検出し予防するための様々な努力にもかかわらず、攻撃の証拠をロギング、分析、共有するためのより包括的なアプローチが必要である。 古典的なセキュリティは、十分に確立された鑑識と情報共有の恩恵を受けているが、機械学習はまだ攻撃者をプロファイルして情報を共有する方法を見つけていない。 本報告では,MLシステムに対するブラックボックス攻撃を法医学的目的で特徴付けるとともに,人間の説明可能なインテリジェンス共有を容易にする新しいセキュリティシステムSEAを紹介する。 SEAはHidden Markov Modelsフレームワークを利用して、観測されたクエリシーケンスを既知の攻撃に属性する。 したがって、最終的な敵の例にのみ焦点を合わせるのではなく、攻撃の進行を理解する。 評価の結果,SEAは第2発生時においても攻撃帰属に有効であり,法医学的分析を避けるために設計された適応戦略に頑健であることがわかった。 興味深いことに、SEAの攻撃行動の説明では、攻撃ライブラリの特定のマイナーな実装バグをフィンガープリントすることさえ可能です。 例えば、 art v1.14 における signopt と square attack の実装は、50% 以上の特定のゼロ差分クエリを送信する。 各種設定でSEAを徹底的に評価し,90%Top-1と95%Top-3の精度で同一攻撃の2回目の発生を認識できることを実証した。

関連論文リスト

• Illusions of Relevance: Using Content Injection Attacks to Deceive Retrievers, Rerankers, and LLM Judges [52.96987928118327]
  検索,リランカー,大型言語モデル(LLM)の埋め込みモデルは,コンテンツインジェクション攻撃に対して脆弱であることがわかった。 主な脅威は,(1) 意味不明な内容や有害な内容の挿入,(2) 関連性を高めるために,問合せ全体あるいはキークエリ用語の挿入,の2つである。 本研究は, 注射内容の配置や関連物質と非関連物質とのバランスなど, 攻撃の成功に影響を与える要因を系統的に検討した。
  論文  参考訳（メタデータ） (2025-01-30T18:02:15Z)
• SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks [53.28390057407576]
  現代のNLPモデルは、様々なソースから引き出された公開データセットでしばしば訓練される。 データ中毒攻撃は、攻撃者が設計した方法でモデルの振る舞いを操作できる。 バックドア攻撃に伴うリスクを軽減するために、いくつかの戦略が提案されている。
  論文  参考訳（メタデータ） (2024-05-19T14:50:09Z)
• Explainable and Transferable Adversarial Attack for ML-Based Network Intrusion Detectors [24.1840740489442]
  機械学習(ML)は、敵の攻撃に対して非常に脆弱であることが証明されている。 NIDSのホワイトボックス攻撃とブラックボックス攻撃はいくつかの研究で研究されている。 本稿では、説明可能な転送ベースのブラックボックスアタックフレームワークであるETAを紹介する。
  論文  参考訳（メタデータ） (2024-01-19T13:43:09Z)
• DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Language Models [64.79319733514266]
  敵攻撃は入力データに微妙な摂動をもたらす可能性がある。 最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。 そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T23:43:47Z)
• Efficient Adversarial Attacks on Online Multi-agent Reinforcement Learning [45.408568528354216]
  対人攻撃がマルチエージェント強化学習(MARL)に及ぼす影響について検討する。 検討された設定では、エージェントがそれらを受け取る前に報酬を変更したり、環境がそれを受け取る前にアクションを操作することができる攻撃者がいる。 この混合攻撃戦略は,攻撃者が基礎となる環境やエージェントのアルゴリズムに関する事前情報を持っていなくても,MARLエージェントを効果的に攻撃することができることを示す。
  論文  参考訳（メタデータ） (2023-07-15T00:38:55Z)
• MalProtect: Stateful Defense Against Adversarial Query Attacks in ML-based Malware Detection [0.0]
  MalProtectは、マルウェア検出ドメインにおけるクエリアタックに対するステートフルな防御である。 以上の結果から,Android および Windows マルウェアにおいて,敵クエリ攻撃の回避率を 80 % 削減できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-21T15:40:19Z)
• Effectiveness of Moving Target Defenses for Adversarial Attacks in ML-based Malware Detection [0.0]
  近年,敵ML攻撃に対する標的防御(MTD)の移動が提案されている。 マルウェア検出領域に適用した敵ML攻撃に対する最近のMTDの有効性を初めて検討した。 転送可能性とクエリアタック戦略は,これらの防御に対して高いレベルの回避を達成できることを示す。
  論文  参考訳（メタデータ） (2023-02-01T16:03:34Z)
• Understanding the Vulnerability of Skeleton-based Human Activity Recognition via Black-box Attack [53.032801921915436]
  HAR(Human Activity Recognition)は、自動運転車など、幅広い用途に採用されている。 近年,敵対的攻撃に対する脆弱性から,骨格型HAR法の堅牢性に疑問が呈されている。 攻撃者がモデルの入出力しかアクセスできない場合でも、そのような脅威が存在することを示す。 BASARと呼ばれる骨格をベースとしたHARにおいて,最初のブラックボックス攻撃手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T09:51:28Z)
• Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
  エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。 既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。 以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
  論文  参考訳（メタデータ） (2022-07-20T19:49:09Z)
• A Targeted Attack on Black-Box Neural Machine Translation with Parallel Data Poisoning [60.826628282900955]
  ブラックボックスNMTシステムに対する標的攻撃は、並列トレーニングデータのごく一部を毒殺することで実現可能であることを示す。 この攻撃は、システムのトレーニングデータを形成するために、クローリングされたWebドキュメントのターゲットの破損によって現実的に実現可能であることを示す。 大量の並列データで訓練された最先端のシステムでさえ、この攻撃は驚くほど低予算で(50%以上の成功率で)成功している。
  論文  参考訳（メタデータ） (2020-11-02T01:52:46Z)
• Arms Race in Adversarial Malware Detection: A Survey [33.8941961394801]
  悪意あるソフトウェア(マルウェア)は、機械学習(ML)技術に対処しなければならない主要なサイバー脅威である。 MLは敵例として知られる攻撃に対して脆弱である。 ディフェンダーの機能セットを知ることは、転送攻撃の成功に不可欠である。 敵の訓練の有効性は、最も強力な攻撃を識別するディフェンダーの能力に依存する。
  論文  参考訳（メタデータ） (2020-05-24T07:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。