論文の概要: Evolving Reinforcement Learning Environment to Minimize Learner's
Achievable Reward: An Application on Hardening Active Directory Systems
- arxiv url: http://arxiv.org/abs/2304.03998v1
- Date: Sat, 8 Apr 2023 12:39:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 18:25:07.264337
- Title: Evolving Reinforcement Learning Environment to Minimize Learner's
Achievable Reward: An Application on Hardening Active Directory Systems
- Title（参考訳）: 学習者の達成可能なリワードを最小化するための強化学習環境の展開:アクティブディレクトリシステムの強化への適用
- Authors: Diksha Goel, Aneta Neumann, Frank Neumann, Hung Nguyen, Mingyu Guo
- Abstract要約: 進化的多様性最適化を応用して,多様な環境を育成する。
特定のアプリケーションであるActive Directoryにフォーカスすることで、アプローチの有効性を実証する。
- 参考スコア（独自算出の注目度）: 15.36968083280611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study a Stackelberg game between one attacker and one defender in a
configurable environment. The defender picks a specific environment
configuration. The attacker observes the configuration and attacks via
Reinforcement Learning (RL trained against the observed environment). The
defender's goal is to find the environment with minimum achievable reward for
the attacker. We apply Evolutionary Diversity Optimization (EDO) to generate
diverse population of environments for training. Environments with clearly high
rewards are killed off and replaced by new offsprings to avoid wasting training
time. Diversity not only improves training quality but also fits well with our
RL scenario: RL agents tend to improve gradually, so a slightly worse
environment earlier on may become better later. We demonstrate the
effectiveness of our approach by focusing on a specific application, Active
Directory (AD). AD is the default security management system for Windows domain
networks. AD environment describes an attack graph, where nodes represent
computers/accounts/etc., and edges represent accesses. The attacker aims to
find the best attack path to reach the highest-privilege node. The defender can
change the graph by removing a limited number of edges (revoke accesses). Our
approach generates better defensive plans than the existing approach and scales
better.
- Abstract（参考訳）: 構成可能な環境で1人の攻撃者と1人のディフェンダーの間でスタックルバーグゲームを研究する。
ディフェンダーは特定の環境設定を選択する。
攻撃者は、監視環境に対して訓練された強化学習(RL)を通じて構成と攻撃を観察する。
ディフェンダーの目標は、攻撃者に対して最小限の報酬で環境を見つけることである。
進化的多様性最適化(EDO)を適用し,多様な環境を育成する。
明らかに報酬の高い環境が取り除かれ、トレーニング時間の無駄を避けるために新しい子孫に置き換えられる。
多様性はトレーニングの品質を向上するだけでなく、私たちのRLシナリオにも適しています。
特定のアプリケーションであるActive Directory(AD)に注目して,このアプローチの有効性を示す。
ADはWindowsドメインネットワークのデフォルトのセキュリティ管理システムである。
AD環境は、ノードがコンピュータ/アカウント/etcを表すアタックグラフを記述する。
エッジはアクセスを表す。
攻撃者は、最高特権ノードに到達するのに最適な攻撃パスを見つけることを目指している。
ディフェンダーは、限られた数のエッジ(アクセスを無効にすることで、グラフを変更することができる。
私たちのアプローチは、既存のアプローチやスケールよりも優れた防御計画を生成します。
関連論文リスト
- Optimizing Cyber Defense in Dynamic Active Directories through Reinforcement Learning [10.601458163651582]
本稿では,動的実世界のネットワークにおけるエッジブロッキングACO戦略の欠如に対処する。
具体的には、組織的Active Directory(AD)システムのサイバーセキュリティ脆弱性を対象とする。
ADシステムを静的エンティティとみなす、エッジブロッキング防衛に関する既存の文献とは異なり、本研究では、それらの動的性質を認識してこれに対応する。
論文 参考訳（メタデータ） (2024-06-28T01:37:46Z) - Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。
新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。
我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
論文 参考訳（メタデータ） (2024-05-28T19:16:17Z) - Optimal Attack and Defense for Reinforcement Learning [11.36770403327493]
敵RLでは、外部攻撃者は、環境との相互作用を操作できる。
我々は、攻撃者が予想される報酬を最大化するステルス攻撃を設計する際の問題を示す。
被害者に対する最適な防衛方針は,Stackelbergゲームに対する解決策として計算できる,と我々は主張する。
論文 参考訳（メタデータ） (2023-11-30T21:21:47Z) - Baseline Defenses for Adversarial Attacks Against Aligned Language
Models [109.75753454188705]
最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。
検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。
テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
論文 参考訳（メタデータ） (2023-09-01T17:59:44Z) - Guidance Through Surrogate: Towards a Generic Diagnostic Attack [101.36906370355435]
我々は、攻撃最適化中に局所最小限を避けるための誘導機構を開発し、G-PGAと呼ばれる新たな攻撃に繋がる。
修正された攻撃では、ランダムに再起動したり、多数の攻撃を繰り返したり、最適なステップサイズを検索したりする必要がありません。
効果的な攻撃以上に、G-PGAは敵防御における勾配マスキングによる解離性堅牢性を明らかにするための診断ツールとして用いられる。
論文 参考訳（メタデータ） (2022-12-30T18:45:23Z) - Defending Active Directory by Combining Neural Network based Dynamic
Program and Evolutionary Diversity Optimisation [14.326083603965278]
我々は、AD攻撃グラフ上で、1人の攻撃者と1人のディフェンダーの間でスタックルバーグのゲームモデルを研究する。
攻撃者は発見される前に目的地に到達する確率を最大化する。
ディフェンダーの任務は、攻撃者が成功する確率を減らすために、一定数のエッジをブロックすることである。
論文 参考訳（メタデータ） (2022-04-07T12:36:11Z) - LAS-AT: Adversarial Training with Learnable Attack Strategy [82.88724890186094]
LAS-ATと呼ばれる「学習可能な攻撃戦略」は、モデル堅牢性を改善するための攻撃戦略を自動生成することを学ぶ。
当社のフレームワークは,強靭性向上のためのトレーニングにAEを使用するターゲットネットワークと,AE生成を制御するための攻撃戦略を生成する戦略ネットワークで構成されている。
論文 参考訳（メタデータ） (2022-03-13T10:21:26Z) - Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the
Age of AI-NIDS [70.60975663021952]
ネットワーク分類器に対するブラックボックス攻撃について検討する。
我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。
攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
論文 参考訳（メタデータ） (2021-11-23T23:42:16Z) - Emergent Complexity and Zero-shot Transfer via Unsupervised Environment
Design [121.73425076217471]
本研究では,未知のパラメータを持つ環境を提供するUnsupervised Environment Design (UED)を提案する。
プロタゴニスト・アンタゴニストによるレグレト環境デザイン(PAIRED)と呼ぶ。
実験により, PAIREDは複雑な環境の自然なカリキュラムを生産し, PAIREDエージェントは, 高度に新規な環境での試験において, 高いゼロショット転送性能が得られることを示した。
論文 参考訳（メタデータ） (2020-12-03T17:37:01Z) - Policy Teaching in Reinforcement Learning via Environment Poisoning
Attacks [33.41280432984183]
本研究では,攻撃者が学習環境を害し,攻撃者が選択したターゲットポリシーの実行を強制する強化学習に対するセキュリティ上の脅威について検討する。
被害者として、無限水平問題設定における報酬を最大化するポリシーを見つけることを目的としたRLエージェントを考える。
論文 参考訳（メタデータ） (2020-11-21T16:54:45Z) - Policy Teaching via Environment Poisoning: Training-time Adversarial
Attacks against Reinforcement Learning [33.41280432984183]
本研究では,攻撃者が学習環境を害してエージェントに目標ポリシーの実行を強制する強化学習に対するセキュリティ上の脅威について検討する。
被害者として、未報告の無限水平問題設定における平均報酬を最大化するポリシーを見つけることを目的としたRLエージェントを考える。
論文 参考訳（メタデータ） (2020-03-28T23:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。