論文の概要: SEA: Shareable and Explainable Attribution for Query-based Black-box Attacks

• arxiv url: http://arxiv.org/abs/2308.11845v2
• Date: Thu, 20 Feb 2025 17:04:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:25:34.679405
• Title: SEA: Shareable and Explainable Attribution for Query-based Black-box Attacks
• Title（参考訳）: SEA: クエリベースのブラックボックス攻撃に対する共有可能で説明可能な属性
• Authors: Yue Gao, Ilia Shumailov, Kassem Fawaz,
• Abstract要約: 本稿では,MLシステムに対するブラックボックス攻撃を法医学的に特徴付ける新しいセキュリティシステムSEAを紹介する。 本報告では,SEAは第2の事例においても攻撃帰属に有効であり,法医学的分析を回避するために設計された適応戦略に頑健であることを示す。
• 参考スコア（独自算出の注目度）: 25.568806599705013
• License:
• Abstract: Machine Learning (ML) systems are vulnerable to adversarial examples, particularly those from query-based black-box attacks. Despite various efforts to detect and prevent such attacks, ML systems are still at risk, demanding a more comprehensive approach to security that includes logging, analyzing, and sharing evidence. While traditional security benefits from well-established practices of forensics and threat intelligence sharing, ML security has yet to find a way to profile its attackers and share information about them. In response, this paper introduces SEA, a novel ML security system to characterize black-box attacks on ML systems for forensic purposes and to facilitate human-explainable intelligence sharing. SEA leverages Hidden Markov Models to attribute the observed query sequence to known attacks. It thus understands the attack's progression rather than focusing solely on the final adversarial examples. Our evaluations reveal that SEA is effective at attack attribution, even on the second incident, and is robust to adaptive strategies designed to evade forensic analysis. SEA's explanations of the attack's behavior allow us even to fingerprint specific minor bugs in widely used attack libraries. For example, we discover that the SignOPT and Square attacks in ART v1.14 send over 50% duplicated queries. We thoroughly evaluate SEA on a variety of settings and demonstrate that it can recognize the same attack with more than 90% Top-1 and 95% Top-3 accuracy. Finally, we demonstrate how SEA generalizes to other domains like text classification.
• Abstract（参考訳）: 機械学習(ML)システムは、特にクエリベースのブラックボックス攻撃による敵の例に対して脆弱である。 このような攻撃を検出し予防するためのさまざまな取り組みにもかかわらず、MLシステムは依然として危険にさらされており、ログ、分析、証拠の共有を含む、より包括的なセキュリティアプローチを要求している。 従来のセキュリティは、鑑識と脅威情報共有の確立したプラクティスの恩恵を受けているが、MLセキュリティはまだ攻撃者をプロファイルし、情報を共有する方法を見つけていない。 本報告では,MLシステムに対するブラックボックス攻撃を法医学的目的で特徴付けるとともに,人間の説明可能なインテリジェンス共有を容易にする新しいセキュリティシステムSEAを紹介する。 SEAはHidden Markov Modelsを利用して、観測されたクエリシーケンスを既知のアタックに属性する。 したがって、攻撃の進行は最終敵の例にのみ焦点をあてるのではなく、理解している。 評価の結果,SEAは第2次事故においても攻撃帰属に有効であり,法医学的分析を避けるために設計された適応戦略に頑健であることが明らかとなった。 SEAによる攻撃の動作の説明は、広く使われている攻撃ライブラリで特定の小さなバグを指紋で特定することを可能にする。 例えば、ART v1.14のSignOPTとSquare攻撃は50%以上の重複クエリを送信する。 様々な設定でSEAを徹底的に評価し、90%以上のTop-1と95%以上のTop-3の精度で同一の攻撃を認識できることを実証した。 最後に、SEAがテキスト分類などの他の領域にどのように一般化するかを示す。

関連論文リスト

• Illusions of Relevance: Using Content Injection Attacks to Deceive Retrievers, Rerankers, and LLM Judges [52.96987928118327]
  検索,リランカー,大型言語モデル(LLM)の埋め込みモデルは,コンテンツインジェクション攻撃に対して脆弱であることがわかった。 主な脅威は,(1) 意味不明な内容や有害な内容の挿入,(2) 関連性を高めるために,問合せ全体あるいはキークエリ用語の挿入,の2つである。 本研究は, 注射内容の配置や関連物質と非関連物質とのバランスなど, 攻撃の成功に影響を与える要因を系統的に検討した。
  論文  参考訳（メタデータ） (2025-01-30T18:02:15Z)
• SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks [53.28390057407576]
  現代のNLPモデルは、様々なソースから引き出された公開データセットでしばしば訓練される。 データ中毒攻撃は、攻撃者が設計した方法でモデルの振る舞いを操作できる。 バックドア攻撃に伴うリスクを軽減するために、いくつかの戦略が提案されている。
  論文  参考訳（メタデータ） (2024-05-19T14:50:09Z)
• Explainable and Transferable Adversarial Attack for ML-Based Network Intrusion Detectors [24.1840740489442]
  機械学習(ML)は、敵の攻撃に対して非常に脆弱であることが証明されている。 NIDSのホワイトボックス攻撃とブラックボックス攻撃はいくつかの研究で研究されている。 本稿では、説明可能な転送ベースのブラックボックスアタックフレームワークであるETAを紹介する。
  論文  参考訳（メタデータ） (2024-01-19T13:43:09Z)
• DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Language Models [64.79319733514266]
  敵攻撃は入力データに微妙な摂動をもたらす可能性がある。 最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。 そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T23:43:47Z)
• Efficient Adversarial Attacks on Online Multi-agent Reinforcement Learning [45.408568528354216]
  対人攻撃がマルチエージェント強化学習(MARL)に及ぼす影響について検討する。 検討された設定では、エージェントがそれらを受け取る前に報酬を変更したり、環境がそれを受け取る前にアクションを操作することができる攻撃者がいる。 この混合攻撃戦略は,攻撃者が基礎となる環境やエージェントのアルゴリズムに関する事前情報を持っていなくても,MARLエージェントを効果的に攻撃することができることを示す。
  論文  参考訳（メタデータ） (2023-07-15T00:38:55Z)
• MalProtect: Stateful Defense Against Adversarial Query Attacks in ML-based Malware Detection [0.0]
  MalProtectは、マルウェア検出ドメインにおけるクエリアタックに対するステートフルな防御である。 以上の結果から,Android および Windows マルウェアにおいて,敵クエリ攻撃の回避率を 80 % 削減できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-21T15:40:19Z)
• Effectiveness of Moving Target Defenses for Adversarial Attacks in ML-based Malware Detection [0.0]
  近年,敵ML攻撃に対する標的防御(MTD)の移動が提案されている。 マルウェア検出領域に適用した敵ML攻撃に対する最近のMTDの有効性を初めて検討した。 転送可能性とクエリアタック戦略は,これらの防御に対して高いレベルの回避を達成できることを示す。
  論文  参考訳（メタデータ） (2023-02-01T16:03:34Z)
• Understanding the Vulnerability of Skeleton-based Human Activity Recognition via Black-box Attack [53.032801921915436]
  HAR(Human Activity Recognition)は、自動運転車など、幅広い用途に採用されている。 近年,敵対的攻撃に対する脆弱性から,骨格型HAR法の堅牢性に疑問が呈されている。 攻撃者がモデルの入出力しかアクセスできない場合でも、そのような脅威が存在することを示す。 BASARと呼ばれる骨格をベースとしたHARにおいて,最初のブラックボックス攻撃手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T09:51:28Z)
• Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
  エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。 既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。 以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
  論文  参考訳（メタデータ） (2022-07-20T19:49:09Z)
• A Targeted Attack on Black-Box Neural Machine Translation with Parallel Data Poisoning [60.826628282900955]
  ブラックボックスNMTシステムに対する標的攻撃は、並列トレーニングデータのごく一部を毒殺することで実現可能であることを示す。 この攻撃は、システムのトレーニングデータを形成するために、クローリングされたWebドキュメントのターゲットの破損によって現実的に実現可能であることを示す。 大量の並列データで訓練された最先端のシステムでさえ、この攻撃は驚くほど低予算で(50%以上の成功率で)成功している。
  論文  参考訳（メタデータ） (2020-11-02T01:52:46Z)
• Arms Race in Adversarial Malware Detection: A Survey [33.8941961394801]
  悪意あるソフトウェア(マルウェア)は、機械学習(ML)技術に対処しなければならない主要なサイバー脅威である。 MLは敵例として知られる攻撃に対して脆弱である。 ディフェンダーの機能セットを知ることは、転送攻撃の成功に不可欠である。 敵の訓練の有効性は、最も強力な攻撃を識別するディフェンダーの能力に依存する。
  論文  参考訳（メタデータ） (2020-05-24T07:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。