論文の概要: SoK: Adversarial Machine Learning Attacks and Defences in Multi-Agent
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2301.04299v1
- Date: Wed, 11 Jan 2023 04:25:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 14:27:55.664721
- Title: SoK: Adversarial Machine Learning Attacks and Defences in Multi-Agent
Reinforcement Learning
- Title(参考訳): SoK:マルチエージェント強化学習における敵対的機械学習攻撃と防御
- Authors: Maxwell Standen, Junae Kim, Claudia Szabo
- Abstract要約: MARL(Multi-Agent Reinforcement Learning)は、AML(Adversarial Machine Learning)攻撃に対して脆弱である。
MARLは、現実世界のアプリケーションで使用する前に適切な防御が必要である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-Agent Reinforcement Learning (MARL) is vulnerable to Adversarial
Machine Learning (AML) attacks and needs adequate defences before it can be
used in real world applications. We have conducted a survey into the use of
execution-time AML attacks against MARL and the defences against those attacks.
We surveyed related work in the application of AML in Deep Reinforcement
Learning (DRL) and Multi-Agent Learning (MAL) to inform our analysis of AML for
MARL. We propose a novel perspective to understand the manner of perpetrating
an AML attack, by defining Attack Vectors. We develop two new frameworks to
address a gap in current modelling frameworks, focusing on the means and tempo
of an AML attack against MARL, and identify knowledge gaps and future avenues
of research.
- Abstract(参考訳): MARL(Multi-Agent Reinforcement Learning)は、AML(Adversarial Machine Learning)攻撃に対して脆弱であり、現実世界のアプリケーションで使用する前に適切な防御が必要である。
我々は,MARLに対する実行時AML攻撃とそれらの攻撃に対する防御について調査を行った。
深層強化学習(DRL)とマルチエージェント学習(MAL)におけるAMLの適用に関する関連研究を調査し,MARLに対するAMLの分析結果を報告する。
本稿では,攻撃ベクトルの定義により,AML攻撃の実施方法を理解する新しい視点を提案する。
我々は、現在のモデリングフレームワークのギャップに対処する2つの新しいフレームワークを開発し、MARLに対するAML攻撃の手段とテンポに注目し、知識ギャップと今後の研究方法を特定する。
関連論文リスト
- Leveraging the Context through Multi-Round Interactions for Jailbreaking
Attacks [60.7432588386185]
大規模言語モデル(LLM)は、脱獄攻撃の影響を受けやすい。
脱獄攻撃は、攻撃クエリを微調整することで有害な情報を抽出することを目的としている。
我々は、コンテキストインタラクションアタックと呼ばれる新しい攻撃形式に焦点を当てる。
論文 参考訳(メタデータ) (2024-02-14T13:45:19Z) - Benchmarking and Defending Against Indirect Prompt Injection Attacks on
Large Language Models [82.98081731588717]
大規模な言語モデルと外部コンテンツの統合は、間接的にインジェクション攻撃を行うアプリケーションを公開する。
本稿では,BIPIAと呼ばれる間接的インジェクション攻撃のリスクを評価するための最初のベンチマークについて紹介する。
我々は,素早い学習に基づく2つのブラックボックス法と,逆行訓練による微調整に基づくホワイトボックス防御法を開発した。
論文 参考訳(メタデータ) (2023-12-21T01:08:39Z) - Model Extraction Attacks Revisited [18.842264538177353]
モデル抽出(ME)攻撃は、MachineLearning-as-a-Serviceプラットフォームに対する大きな脅威のひとつだ。
MLプラットフォームのME攻撃に対する脆弱性は、どのように進化していますか?
本研究は,MEの脆弱性の現状に光を当て,今後の研究に期待できるいくつかの方向性を示すものである。
論文 参考訳(メタデータ) (2023-12-08T21:49:16Z) - Attack Prompt Generation for Red Teaming and Defending Large Language
Models [70.157691818224]
大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。
本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-19T06:15:05Z) - Untargeted White-box Adversarial Attack with Heuristic Defence Methods
in Real-time Deep Learning based Network Intrusion Detection System [0.0]
Adversarial Machine Learning (AML)では、悪意のあるアクターが機械学習(ML)とディープラーニング(DL)モデルを騙して、誤った予測を生成する。
AMLは新たな研究領域であり、敵の攻撃の詳細な研究に欠かせないものとなっている。
我々は,FGSM(Fast Gradient Sign Method),JSMA(Jacobian Saliency Map Attack),PGD(Projected Gradient Descent),Cerini & Wagner(C&W)の4つの強力な攻撃手法を実装した。
論文 参考訳(メタデータ) (2023-10-05T06:32:56Z) - Defending Pre-trained Language Models as Few-shot Learners against
Backdoor Attacks [72.03945355787776]
軽快でプラガブルで効果的な PLM 防御である MDP を,少人数の学習者として提唱する。
我々は,MDPが攻撃の有効性と回避性の両方を選択できる興味深いジレンマを発生させることを解析的に示す。
論文 参考訳(メタデータ) (2023-09-23T04:41:55Z) - Enhancing the Robustness of QMIX against State-adversarial Attacks [6.627954554805906]
本稿では,SARLアルゴリズムの堅牢性を向上し,それらをマルチエージェントシナリオに拡張する4つの手法について論じる。
我々は、この研究で様々な攻撃を用いてモデルを訓練する。
次に、トレーニングフェーズ全体を通して、対応する攻撃に適応して、他の攻撃を用いて教えられたモデルをテストする。
論文 参考訳(メタデータ) (2023-07-03T10:10:34Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - Identifying Appropriate Intellectual Property Protection Mechanisms for
Machine Learning Models: A Systematization of Watermarking, Fingerprinting,
Model Access, and Attacks [0.1031296820074812]
機械学習(ML)の商業的利用は拡大しており、同時に、MLモデルはより複雑になり、トレーニングコストも高まっている。
本稿では,MLにおけるIPPに関する知見を体系化するとともに,文書作成時に提案される脅威や攻撃,防衛に焦点をあてる。
我々はMLにおけるIPの包括的脅威モデルを構築し、統合された分類体系の中で攻撃と防御を分類する。
論文 参考訳(メタデータ) (2023-04-22T01:05:48Z) - Attacks in Adversarial Machine Learning: A Systematic Survey from the
Life-cycle Perspective [69.25513235556635]
敵対的機械学習(英: Adversarial Machine Learning、AML)は、機械学習の逆行現象を研究する。
機械学習システムの異なる段階で発生するこの敵対現象を探求するために、いくつかのパラダイムが最近開発された。
既存の攻撃パラダイムをカバーするための統一的な数学的枠組みを提案する。
論文 参考訳(メタデータ) (2023-02-19T02:12:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。