論文の概要: Multi-agent Reinforcement Learning in Bayesian Stackelberg Markov Games
for Adaptive Moving Target Defense
- arxiv url: http://arxiv.org/abs/2007.10457v1
- Date: Mon, 20 Jul 2020 20:34:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 13:15:11.137082
- Title: Multi-agent Reinforcement Learning in Bayesian Stackelberg Markov Games
for Adaptive Moving Target Defense
- Title（参考訳）: 適応移動目標防御のためのベイジアン・スタックルバーグ・マルコフゲームにおけるマルチエージェント強化学習
- Authors: Sailik Sengupta, Subbarao Kambhampati
- Abstract要約: 我々は,有理逆問題に関する情報が不十分な場合,既存のモデルは逐次的設定では不十分であると主張している。
我々はBayesian Stackelberg Markov Games (BSMGs)と呼ばれる統一ゲーム理論モデルを提案する。
我々は,学習アプローチがBSMGのSSEに収束していることを示し,学習運動政策がWebアプリケーションセキュリティのためのMTDの最先端技術を改善することを強調した。
- 参考スコア（独自算出の注目度）: 22.760124873882184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of cybersecurity has mostly been a cat-and-mouse game with the
discovery of new attacks leading the way. To take away an attacker's advantage
of reconnaissance, researchers have proposed proactive defense methods such as
Moving Target Defense (MTD). To find good movement strategies, researchers have
modeled MTD as leader-follower games between the defender and a
cyber-adversary. We argue that existing models are inadequate in sequential
settings when there is incomplete information about a rational adversary and
yield sub-optimal movement strategies. Further, while there exists an array of
work on learning defense policies in sequential settings for cyber-security,
they are either unpopular due to scalability issues arising out of incomplete
information or tend to ignore the strategic nature of the adversary simplifying
the scenario to use single-agent reinforcement learning techniques. To address
these concerns, we propose (1) a unifying game-theoretic model, called the
Bayesian Stackelberg Markov Games (BSMGs), that can model uncertainty over
attacker types and the nuances of an MTD system and (2) a Bayesian Strong
Stackelberg Q-learning (BSS-Q) approach that can, via interaction, learn the
optimal movement policy for BSMGs within a reasonable time. We situate BSMGs in
the landscape of incomplete-information Markov games and characterize the
notion of Strong Stackelberg Equilibrium (SSE) in them. We show that our
learning approach converges to an SSE of a BSMG and then highlight that the
learned movement policy (1) improves the state-of-the-art in MTD for
web-application security and (2) converges to an optimal policy in MTD domains
with incomplete information about adversaries even when prior information about
rewards and transitions is absent.
- Abstract（参考訳）: サイバーセキュリティの分野は、主に猫とマウスによるゲームであり、新たな攻撃が進行中だ。
攻撃者の偵察の利点を取り除くため、研究者は移動目標防衛(MTD)のような積極的な防御方法を提案した。
優れた動き戦略を見つけるために、研究者はmddを、ディフェンダーとサイバー敵の間のリーダーフォローゲームとしてモデル化した。
我々は、合理的な逆境に関する不完全な情報が存在し、最適でない動作戦略をもたらす場合、既存のモデルが逐次的な設定では不十分であると主張する。
さらに、サイバーセキュリティのシーケンシャルな設定で防衛政策を学習する作業は数多く存在するが、不完全な情報から生じるスケーラビリティの問題や、単一エージェント強化学習技術を使用するシナリオを単純化する敵の戦略的性質を無視する傾向があるため、不人気である。
これらの問題に対処するため,(1)BSMG(Bayesian Stackelberg Markov Games)と呼ばれる,攻撃型とMTDシステムのニュアンスに対する不確実性をモデル化可能な統一ゲーム理論モデルを提案し,(2)BSS-Q(Bayesian Strong Stackelberg Q-learning)アプローチを提案する。
不完全情報マルコフゲームの世界にBSMGを配置し、それらにSSE(Strong Stackelberg Equilibrium)の概念を特徴付ける。
我々は,学習アプローチがBSMGのSSEに収束し,(1)WebアプリケーションセキュリティのためのMTDの最先端性を向上し,(2)報酬や移行に関する事前情報がない場合でも,敵に関する不完全な情報を持つMTDドメインの最適ポリシーに収束することを明らかにする。
関連論文リスト
- Meta Stackelberg Game: Robust Federated Learning against Adaptive and Mixed Poisoning Attacks [15.199885837603576]
フェデレーテッド・ラーニング(FL)は、様々なセキュリティ上の脅威を受けやすい。
我々は,ゲーム解決のための効果的なメタラーニング手法を開発し,堅牢で適応的なFLディフェンスを実現する。
論文 参考訳（メタデータ） (2024-10-22T21:08:28Z) - Toward Optimal LLM Alignments Using Two-Player Games [86.39338084862324]
本稿では,対戦相手と防御エージェントの反復的相互作用を含む2エージェントゲームのレンズによるアライメントについて検討する。
この反復的強化学習最適化がエージェントによって誘導されるゲームに対するナッシュ平衡に収束することを理論的に実証する。
安全シナリオにおける実験結果から、このような競争環境下での学習は、完全に訓練するエージェントだけでなく、敵エージェントと防御エージェントの両方に対する一般化能力の向上したポリシーにつながることが示されている。
論文 参考訳（メタデータ） (2024-06-16T15:24:50Z) - Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。
我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
論文 参考訳（メタデータ） (2023-12-20T05:06:01Z) - Baseline Defenses for Adversarial Attacks Against Aligned Language
Models [109.75753454188705]
最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。
検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。
テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
論文 参考訳（メタデータ） (2023-09-01T17:59:44Z) - A First Order Meta Stackelberg Method for Robust Federated Learning [19.130600532727062]
この研究はBayesian Stackelberg Markov Game(BSMG)として逆連合学習をモデル化する。
本稿では,BSMGの平衡戦略を解決するために,メタスタックバーグ学習(メタSL)を提案する。
メタSLは1次$varepsilon$平衡点に収束し、$O(varepsilon-2)$グラデーション、$O(varepsilon-4)$反復に必要なサンプルを持つことを示した。
論文 参考訳（メタデータ） (2023-06-23T22:22:33Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳（メタデータ） (2023-06-06T11:44:42Z) - Ares: A System-Oriented Wargame Framework for Adversarial ML [3.197282271064602]
Aresは、現実的なウォーゲームのような環境で、研究者が攻撃や防御を探索できる敵MLの評価フレームワークである。
アレスは、攻撃者とディフェンダーの間の対立を、反対の目的を持つ強化学習環境における2つのエージェントとして表している。
これにより、障害発生までの時間や複雑な戦略の評価など、システムレベルの評価指標が導入される。
論文 参考訳（メタデータ） (2022-10-24T04:55:18Z) - StratDef: Strategic Defense Against Adversarial Attacks in ML-based
Malware Detection [0.0]
StratDefは、移動目標防衛アプローチに基づく戦略的防衛システムである。
我々は,StratDefが最強の敵対的脅威に直面した場合でも,他の防御よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2022-02-15T16:51:53Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳（メタデータ） (2021-11-23T23:42:16Z) - Adversarial Attack and Defense in Deep Ranking [100.17641539999055]
本稿では,敵対的摂動によって選抜された候補者のランクを引き上げたり下げたりできる,ディープランキングシステムに対する2つの攻撃を提案する。
逆に、全ての攻撃に対するランキングモデルロバスト性を改善するために、反崩壊三重項防御法が提案されている。
MNIST, Fashion-MNIST, CUB200-2011, CARS196およびStanford Online Productsデータセットを用いて, 敵のランク付け攻撃と防御を評価した。
論文 参考訳（メタデータ） (2021-06-07T13:41:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。