論文の概要: Poisoning Attacks and Defenses on Artificial Intelligence: A Survey
- arxiv url: http://arxiv.org/abs/2202.10276v1
- Date: Mon, 21 Feb 2022 14:43:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-23 12:01:56.449989
- Title: Poisoning Attacks and Defenses on Artificial Intelligence: A Survey
- Title（参考訳）: 人工知能に対する毒殺と防御:調査
- Authors: Miguel A. Ramirez, Song-Kyoo Kim, Hussam Al Hamadi, Ernesto Damiani,
Young-Ji Byon, Tae-Yeon Kim, Chung-Suk Cho and Chan Yeob Yeun
- Abstract要約: データ中毒攻撃は、トレーニングフェーズ中にモデルに供給されたデータサンプルを改ざんして、推論フェーズ中にモデルの精度を低下させる攻撃の一種である。
この研究は、この種の攻撃に対処する最新の文献で見つかった最も関連性の高い洞察と発見をまとめたものである。
実環境下での幅広いMLモデルに対するデータ中毒の影響を比較検討し,本研究の徹底的な評価を行った。
- 参考スコア（独自算出の注目度）: 3.706481388415728
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models have been widely adopted in several fields. However,
most recent studies have shown several vulnerabilities from attacks with a
potential to jeopardize the integrity of the model, presenting a new window of
research opportunity in terms of cyber-security. This survey is conducted with
a main intention of highlighting the most relevant information related to
security vulnerabilities in the context of machine learning (ML) classifiers;
more specifically, directed towards training procedures against data poisoning
attacks, representing a type of attack that consists of tampering the data
samples fed to the model during the training phase, leading to a degradation in
the models accuracy during the inference phase. This work compiles the most
relevant insights and findings found in the latest existing literatures
addressing this type of attacks. Moreover, this paper also covers several
defense techniques that promise feasible detection and mitigation mechanisms,
capable of conferring a certain level of robustness to a target model against
an attacker. A thorough assessment is performed on the reviewed works,
comparing the effects of data poisoning on a wide range of ML models in
real-world conditions, performing quantitative and qualitative analyses. This
paper analyzes the main characteristics for each approach including performance
success metrics, required hyperparameters, and deployment complexity. Moreover,
this paper emphasizes the underlying assumptions and limitations considered by
both attackers and defenders along with their intrinsic properties such as:
availability, reliability, privacy, accountability, interpretability, etc.
Finally, this paper concludes by making references of some of main existing
research trends that provide pathways towards future research directions in the
field of cyber-security.
- Abstract（参考訳）: 機械学習モデルは、いくつかの分野で広く採用されている。
しかし、最近の研究では、モデルの完全性を損なう可能性のある攻撃によるいくつかの脆弱性が示されており、サイバーセキュリティの観点からの新しい研究機会が提示されている。
この調査は、機械学習(ML)分類器のコンテキストにおけるセキュリティ脆弱性に関する最も関連性の高い情報、具体的には、データ中毒攻撃に対するトレーニング手順に向け、トレーニングフェーズ中にモデルに供給されたデータサンプルを改ざんして、推論フェーズにおけるモデルの精度を低下させるような攻撃のタイプを表現することを目的として実施されている。
この研究は、この種の攻撃に対処する最新の既存の文献に見られる最も関連する洞察と知見をまとめたものだ。
さらに,攻撃者に対する目標モデルに一定のロバスト性を与えることが可能な,検出・緩和機構の実現を約束する防衛手法についても述べる。
実環境下でのMLモデルに対するデータ中毒の影響を比較検討し,定量的および定性的な分析を行った。
本稿では、性能評価基準、必要パラメータ、デプロイメントの複雑さなど、各アプローチの主な特徴について分析する。
さらに,攻撃者および守備者双方が考慮する前提と限界を,可用性,信頼性,プライバシ,説明責任,解釈可能性などの本質的な特性とともに強調する。
最後に,サイバーセキュリティの分野における今後の研究方向への道筋を示す,既存の研究動向を参考にして結論づける。
関連論文リスト
- Towards the generation of hierarchical attack models from cybersecurity vulnerabilities using language models [3.7548609506798494]
本稿では、テキストベースのサイバーセキュリティ脆弱性データ間の兄弟関係を識別するために、事前訓練された言語モデルとサイムズネットワークを用いて検討する。
論文 参考訳（メタデータ） (2024-10-07T13:05:33Z) - A Survey and Evaluation of Adversarial Attacks for Object Detection [11.48212060875543]
ディープラーニングモデルは、様々なコンピュータビジョンタスクにおいて優れているが、誤った予測につながる入力データの逆例-サブトル摂動の影響を受けやすい。
この脆弱性は、自動運転車、セキュリティ監視、航空機の健康監視など、安全に重要なアプリケーションに重大なリスクをもたらす。
論文 参考訳（メタデータ） (2024-08-04T05:22:08Z) - Humanizing Machine-Generated Content: Evading AI-Text Detection through Adversarial Attack [24.954755569786396]
そこで本研究では,機械生成コンテンツの小さな摂動を回避して検出を回避すべく,より広いレベルの敵攻撃のためのフレームワークを提案する。
我々は、ホワイトボックスとブラックボックスの2つの攻撃設定を検討し、現在の検出モデルのロバスト性を高める可能性を評価するために、動的シナリオにおける逆学習を採用する。
実験の結果、現在の検出モデルは10秒で妥協でき、機械が生成したテキストを人間の書き起こしコンテンツとして誤分類する結果となった。
論文 参考訳（メタデータ） (2024-04-02T12:49:22Z) - Breaking Down the Defenses: A Comparative Survey of Attacks on Large Language Models [18.624280305864804]
大規模言語モデル(LLM)は自然言語処理(NLP)分野の基盤となっている。
本稿では,LSMを標的とした様々な攻撃形態の包括的調査を行う。
モデルアウトプットを操作するための敵攻撃、モデルトレーニングに影響を与えるデータ中毒、データエクスプロイトのトレーニングに関連するプライバシー上の懸念などについて調べる。
論文 参考訳（メタデータ） (2024-03-03T04:46:21Z) - Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳（メタデータ） (2024-02-07T21:58:40Z) - Assessing Privacy Risks in Language Models: A Case Study on
Summarization Tasks [65.21536453075275]
我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。
テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。
我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
論文 参考訳（メタデータ） (2023-10-20T05:44:39Z) - It Is All About Data: A Survey on the Effects of Data on Adversarial
Robustness [4.1310970179750015]
逆の例は、攻撃者が意図的にモデルを混乱させてミスを犯すように設計された機械学習モデルへの入力である。
この問題に対処するために、敵の堅牢性の領域は、敵の攻撃の背後にあるメカニズムとこれらの攻撃に対する防御を調査する。
論文 参考訳（メタデータ） (2023-03-17T04:18:03Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T19:57:19Z) - A Review of Adversarial Attack and Defense for Classification Methods [78.50824774203495]
本稿では,敵対的事例の生成と保護に焦点をあてる。
この論文は、多くの統計学者が、この重要かつエキサイティングな分野において、敵の事例を生成・防御することを奨励するものである。
論文 参考訳（メタデータ） (2021-11-18T22:13:43Z) - Explainable Adversarial Attacks in Deep Neural Networks Using Activation
Profiles [69.9674326582747]
本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。
これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
論文 参考訳（メタデータ） (2021-03-18T13:04:21Z) - ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine
Learning Models [64.03398193325572]
機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。
私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。
私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
論文 参考訳（メタデータ） (2021-02-04T11:35:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。