論文の概要: SoK: Adversarial Machine Learning Attacks and Defences in Multi-Agent
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2301.04299v1
- Date: Wed, 11 Jan 2023 04:25:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 14:27:55.664721
- Title: SoK: Adversarial Machine Learning Attacks and Defences in Multi-Agent
Reinforcement Learning
- Title(参考訳): SoK:マルチエージェント強化学習における敵対的機械学習攻撃と防御
- Authors: Maxwell Standen, Junae Kim, Claudia Szabo
- Abstract要約: MARL(Multi-Agent Reinforcement Learning)は、AML(Adversarial Machine Learning)攻撃に対して脆弱である。
MARLは、現実世界のアプリケーションで使用する前に適切な防御が必要である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-Agent Reinforcement Learning (MARL) is vulnerable to Adversarial
Machine Learning (AML) attacks and needs adequate defences before it can be
used in real world applications. We have conducted a survey into the use of
execution-time AML attacks against MARL and the defences against those attacks.
We surveyed related work in the application of AML in Deep Reinforcement
Learning (DRL) and Multi-Agent Learning (MAL) to inform our analysis of AML for
MARL. We propose a novel perspective to understand the manner of perpetrating
an AML attack, by defining Attack Vectors. We develop two new frameworks to
address a gap in current modelling frameworks, focusing on the means and tempo
of an AML attack against MARL, and identify knowledge gaps and future avenues
of research.
- Abstract(参考訳): MARL(Multi-Agent Reinforcement Learning)は、AML(Adversarial Machine Learning)攻撃に対して脆弱であり、現実世界のアプリケーションで使用する前に適切な防御が必要である。
我々は,MARLに対する実行時AML攻撃とそれらの攻撃に対する防御について調査を行った。
深層強化学習(DRL)とマルチエージェント学習(MAL)におけるAMLの適用に関する関連研究を調査し,MARLに対するAMLの分析結果を報告する。
本稿では,攻撃ベクトルの定義により,AML攻撃の実施方法を理解する新しい視点を提案する。
我々は、現在のモデリングフレームワークのギャップに対処する2つの新しいフレームワークを開発し、MARLに対するAML攻撃の手段とテンポに注目し、知識ギャップと今後の研究方法を特定する。
関連論文リスト
- Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。
そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。
本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
論文 参考訳(メタデータ) (2024-11-01T04:05:59Z) - A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。
LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。
本稿では,既存のLVLM攻撃の様々な形態について概説する。
論文 参考訳(メタデータ) (2024-07-10T06:57:58Z) - Purple-teaming LLMs with Adversarial Defender Training [57.535241000787416]
本稿では,PAD(Adversarial Defender Training)を用いたPurple-teaming LLMを提案する。
PADは、赤チーム(アタック)技術と青チーム(セーフティトレーニング)技術を新たに取り入れることで、LSMを保護するために設計されたパイプラインである。
PADは、効果的な攻撃と堅牢な安全ガードレールの確立の両方において、既存のベースラインを著しく上回っている。
論文 参考訳(メタデータ) (2024-07-01T23:25:30Z) - Breaking Down the Defenses: A Comparative Survey of Attacks on Large Language Models [18.624280305864804]
大規模言語モデル(LLM)は自然言語処理(NLP)分野の基盤となっている。
本稿では,LSMを標的とした様々な攻撃形態の包括的調査を行う。
モデルアウトプットを操作するための敵攻撃、モデルトレーニングに影響を与えるデータ中毒、データエクスプロイトのトレーニングに関連するプライバシー上の懸念などについて調べる。
論文 参考訳(メタデータ) (2024-03-03T04:46:21Z) - A Comprehensive Survey of Attack Techniques, Implementation, and Mitigation Strategies in Large Language Models [0.0]
この記事では、モデル自体に対する攻撃と、モデルアプリケーションに対する攻撃という2つの攻撃カテゴリについて説明する。
前者は専門知識、モデルデータへのアクセス、重要な実装時間が必要です。
後者は攻撃者にはよりアクセスしやすく、注目されている。
論文 参考訳(メタデータ) (2023-12-18T07:07:32Z) - Model Extraction Attacks Revisited [18.842264538177353]
モデル抽出(ME)攻撃は、MachineLearning-as-a-Serviceプラットフォームに対する大きな脅威のひとつだ。
MLプラットフォームのME攻撃に対する脆弱性は、どのように進化していますか?
本研究は,MEの脆弱性の現状に光を当て,今後の研究に期待できるいくつかの方向性を示すものである。
論文 参考訳(メタデータ) (2023-12-08T21:49:16Z) - Attack Prompt Generation for Red Teaming and Defending Large Language
Models [70.157691818224]
大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。
本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-19T06:15:05Z) - Vulnerability of Machine Learning Approaches Applied in IoT-based Smart Grid: A Review [51.31851488650698]
機械学習(ML)は、IoT(Internet-of-Things)ベースのスマートグリッドでの使用頻度が高まっている。
電力信号に注入された逆方向の歪みは システムの正常な制御と操作に大きな影響を及ぼす
安全クリティカルパワーシステムに適用されたMLsgAPPの脆弱性評価を行うことが不可欠である。
論文 参考訳(メタデータ) (2023-08-30T03:29:26Z) - Enhancing the Robustness of QMIX against State-adversarial Attacks [6.627954554805906]
本稿では,SARLアルゴリズムの堅牢性を向上し,それらをマルチエージェントシナリオに拡張する4つの手法について論じる。
我々は、この研究で様々な攻撃を用いてモデルを訓練する。
次に、トレーニングフェーズ全体を通して、対応する攻撃に適応して、他の攻撃を用いて教えられたモデルをテストする。
論文 参考訳(メタデータ) (2023-07-03T10:10:34Z) - Attacks in Adversarial Machine Learning: A Systematic Survey from the
Life-cycle Perspective [69.25513235556635]
敵対的機械学習(英: Adversarial Machine Learning、AML)は、機械学習の逆行現象を研究する。
機械学習システムの異なる段階で発生するこの敵対現象を探求するために、いくつかのパラダイムが最近開発された。
既存の攻撃パラダイムをカバーするための統一的な数学的枠組みを提案する。
論文 参考訳(メタデータ) (2023-02-19T02:12:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。