論文の概要: Vulnerability Analysis for Safe Multi-Agent Reinforcement

• arxiv url: http://arxiv.org/abs/2610.27293v1
• Date: Mon, 19 Oct 2026 21:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.513491
• Title: Vulnerability Analysis for Safe Multi-Agent Reinforcement
• Title（参考訳）: 安全マルチエージェント強化のための脆弱性解析
• Abstract要約: 安全マルチエージェント強化学習(SMARL)は、所定の安全制約の下で協調制御政策を学習することを目的としている。 本稿では,エージェントのサブセットの観測を敵が妨害するSMARLに対する推論時観測攻撃について検討する。 我々は,侵入されたエージェントに対する敵対的攻撃を共同で選択する攻撃フレームワークであるMinMax Attackを提案する。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safe Multi-Agent Reinforcement Learning (SMARL) aims to learn cooperative control policies under prescribed safety constraints. Al- though existing SMARL methods focus on enforcing safety during policy optimization, their vulnerability remains largely unexplored. This paper investigates inference-time observation attacks against SMARL, where an adversary perturbs the observations of a subset of agents, thereby altering the actions produced by their policies. We propose MinMax Attack, an attack framework that jointly selects adversarial target actions for compromised agents while accounting for the Cooperative Resistance of benign agents. We further derive a bound on the induced safety cost and characterize its relation- ship with the Compromised-Agent Budget and the Perturbation Budget. Experiments across multiple safety-critical multi-agent benchmarks and representative state-of-the-art SMARL algorithms show that MinMax Attack induces substantially higher safety costs than existing attack baselines while preserving task reward, thereby reducing its detectability and achieving both attack effectiveness and stealthiness.
• Abstract（参考訳）: 安全マルチエージェント強化学習(SMARL)は、所定の安全制約の下で協調制御政策を学習することを目的としている。 既存のSMARLメソッドは、ポリシー最適化中の安全性の強化に重点を置いているが、その脆弱性は未解明のままである。 本稿では,エージェントのサブセットの観察を敵が妨害するSMARLに対する推論時観測攻撃について検討し,それらのポリシーによって生成された行動を変化させる。 我々は、良性エージェントの協調抵抗を考慮しつつ、妥協されたエージェントに対する敵の標的行動を共同で選択する攻撃フレームワークであるMinMax Attackを提案する。 我々はさらに、誘導された安全コストに縛り付けられ、その関係船をCompromized-Agent BudgetとPerturbation Budgetで特徴づける。 複数の安全クリティカルなマルチエージェントベンチマークと最先端SMARLアルゴリズムによる実験により、MinMax攻撃はタスク報酬を保ちながら既存の攻撃ベースラインよりもはるかに高い安全性コストを誘導し、その検出性を低減し、攻撃の有効性と盗難性を両立させることが示されている。

関連論文リスト

• SoK: Trading Agents or Market Crashers? Dissecting Robustness and Security Failures in Academic Financial LLM Trading Schemes [4.960728685452451]
  本稿では,市場乱れ下での金融エージェントの堅牢性のスキームレベル評価を行う枠組みを提案する。 ほとんどの学術的なスキームは、堅牢性と現実的な敵の脅威を見落としている。 小さな不正判断は市場全体のクラッシュを自力で起こすことができ、敵は故意に同じ崩壊を最小限のコストで引き起こすことができる。
  論文  参考訳（メタデータ） (2026-09-17T04:59:08Z)
• AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
  大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。 既存の安全機構は主に外部ガードレールに依存している。 我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
  論文  参考訳（メタデータ） (2026-06-21T21:13:55Z)
• How Brittle is Agent Safety? Rethinking Agent Risk under Intent Concealment and Task Complexity [55.441602598245744]
  LLM駆動エージェントの現在の安全性評価は、主に原子害に焦点を当てており、悪意のある意図が複雑なタスクで隠されたり希釈されたりする高度な脅威に対処できなかった。 このギャップを,意図隠蔽とタスク複雑性の圧力下でのエージェントの安全性の脆さを二次元的に解析することで解決する。 目的が明確になるにつれて、安全アライメントは急激かつ予測的に低下し、「複雑パラドックス」が出現する。
  論文  参考訳（メタデータ） (2025-11-11T17:27:27Z)
• AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
  AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。 外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
  論文  参考訳（メタデータ） (2025-10-02T02:06:30Z)
• Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
  我々は,大規模言語モデル(LLM)の安全性を評価するベンチマークであるAgent-SafetyBenchを紹介する。 Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。 16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
  論文  参考訳（メタデータ） (2024-12-19T02:35:15Z)
• Safety-Aware Multi-Agent Learning for Dynamic Network Bridging [0.11249583407496219]
  エージェントは2つの移動目標間の通信経路を維持することを学ばなければならない。 我々は,局所的な集合点更新による衝突回避を強制する制御理論安全フィルタを統合する。 その結果,分散マルチエージェントタスクにおいて,局所的安全執行と分散学習を効果的に組み合わせることが示唆された。
  論文  参考訳（メタデータ） (2024-04-02T01:30:41Z)
• Robustness Testing for Multi-Agent Reinforcement Learning: State Perturbations on Critical Agents [2.5204420653245245]
  MARL(Multi-Agent Reinforcement Learning)は、スマート交通や無人航空機など、多くの分野に広く応用されている。 本研究は,MARLのための新しいロバストネステストフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-09T02:26:28Z)
• Robust Reinforcement Learning on State Observations with Learned Optimal Adversary [86.0846119254031]
  逆摂動状態観測による強化学習の堅牢性について検討した。 固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。 DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
  論文  参考訳（メタデータ） (2021-01-21T05:38:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。