論文の概要: Bilevel Optimization for Covert Memory Tampering in Heterogeneous Multi-Agent Architectures (XAMT)
- arxiv url: http://arxiv.org/abs/2512.15790v1
- Date: Mon, 15 Dec 2025 23:04:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-19 18:10:31.71721
- Title: Bilevel Optimization for Covert Memory Tampering in Heterogeneous Multi-Agent Architectures (XAMT)
- Title(参考訳): 異種マルチエージェントアーキテクチャ(XAMT)におけるカバーメモリタンパの2レベル最適化
- Authors: Akhil Sharma, Shaikh Yaser Arafat, Jai Kumar Sharma, Ken Huang,
- Abstract要約: マルチエージェントシステム(MAS)は本質的に異種であり、従来のマルチエージェント強化学習(MARL)とLLM(Large Language Model)エージェントアーキテクチャを統合する。
MARLの共有エクスペリエンス再生(ER)バッファとRAGエージェントの外部知識ベース(K)である。
本稿では,XAMT (Bilevel Optimization for Covert Memory Tampering in Heterogeneous Multi-Agent Architectures) を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing operational reliance on complex Multi-Agent Systems (MAS) across safety-critical domains necessitates rigorous adversarial robustness assessment. Modern MAS are inherently heterogeneous, integrating conventional Multi-Agent Reinforcement Learning (MARL) with emerging Large Language Model (LLM) agent architectures utilizing Retrieval-Augmented Generation (RAG). A critical shared vulnerability is reliance on centralized memory components: the shared Experience Replay (ER) buffer in MARL and the external Knowledge Base (K) in RAG agents. This paper proposes XAMT (Bilevel Optimization for Covert Memory Tampering in Heterogeneous Multi-Agent Architectures), a novel framework that formalizes attack generation as a bilevel optimization problem. The Upper Level minimizes perturbation magnitude (delta) to enforce covertness while maximizing system behavior divergence toward an adversary-defined target (Lower Level). We provide rigorous mathematical instantiations for CTDE MARL algorithms and RAG-based LLM agents, demonstrating that bilevel optimization uniquely crafts stealthy, minimal-perturbation poisons evading detection heuristics. Comprehensive experimental protocols utilize SMAC and SafeRAG benchmarks to quantify effectiveness at sub-percent poison rates (less than or equal to 1 percent in MARL, less than or equal to 0.1 percent in RAG). XAMT defines a new unified class of training-time threats essential for developing intrinsically secure MAS, with implications for trust, formal verification, and defensive strategies prioritizing intrinsic safety over perimeter-based detection.
- Abstract(参考訳): 安全クリティカルドメインにおける複雑なマルチエージェントシステム(MAS)の運用依存度の増加は、厳密な敵の堅牢性評価を必要とする。
現代のMASは本質的に異種であり、従来のマルチエージェント強化学習(MARL)と、検索・拡張生成(RAG)を利用した新たな大規模言語モデル(LLM)エージェントアーキテクチャを統合している。
MARLの共有エクスペリエンス再生(ER)バッファとRAGエージェントの外部知識ベース(K)である。
本稿では,XAMT (Bilevel Optimization for Covert Memory Tampering in Heterogeneous Multi-Agent Architectures) を提案する。
上層階は、対向的に定義された目標(下層階)に対して系の振舞いを最大化しながら、隠蔽を強制するために摂動度(デルタ)を最小化する。
我々はCTDE MARLアルゴリズムとRAGベースのLLMエージェントに対して厳密な数学的インスタンス化を行い、二レベル最適化は、検出ヒューリスティックを回避し、ステルス性の最小摂動毒を独自に作っていることを示す。
総合的な実験プロトコルでは、SMACとSafeRAGのベンチマークを用いて、毒性率(MARLでは1%以下、RAGでは0.1%以下)で効果を定量化している。
XAMTは、本質的に安全なMASを開発するために不可欠な、新しい統合された訓練時間脅威のクラスを定義し、信頼、形式的検証、そして、近距離検出よりも本質的な安全性を優先する防衛戦略を意図している。
関連論文リスト
- L2M-AID: Autonomous Cyber-Physical Defense by Fusing Semantic Reasoning of Large Language Models with Multi-Agent Reinforcement Learning (Preprint) [16.291320202524187]
L2M-AIDは多エージェント強化学習を用いた自律型産業防衛のための新しいフレームワークである。
大規模言語モデル(LLM)によって駆動される協調エージェントのチームを編成し、適応的でレジリエンスなセキュリティを実現する。
その結果,L2M-AIDは従来のIDS,ディープラーニング異常検出器,単一エージェントRLベースラインよりも有意に優れていた。
論文 参考訳(メタデータ) (2025-10-08T17:46:39Z) - AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。
外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
論文 参考訳(メタデータ) (2025-10-02T02:06:30Z) - Vulnerable Agent Identification in Large-Scale Multi-Agent Reinforcement Learning [49.31650627835956]
システムがスケールアップすると、部分的なエージェントの障害は避けられないものとなり、全体的なパフォーマンスが著しく低下するエージェントのサブセットを特定することが重要になる。
本稿では,大規模マルチエージェント強化学習(MARL)における脆弱性エージェント識別(VAI)問題について検討する。
実験により, 大規模MARLおよびルールベースシステムにおいて, より脆弱なエージェントを効果的に同定し, システムを悪用し, それぞれのエージェントの脆弱性を明らかにする値関数を学習した。
論文 参考訳(メタデータ) (2025-09-18T16:03:50Z) - MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [104.50239783909063]
Retrieval Augmented Generation (RAG) を用いた多モーダル大規模言語モデルは、多モーダル質問応答のようなかなり高度なタスクを持つ。
この外部知識への依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを引き起こす。
マルチモーダルRAGにおける知識中毒を体系的に設計する最初のフレームワークであるMM-PoisonRAGを提案する。
論文 参考訳(メタデータ) (2025-02-25T04:23:59Z) - Breaking the Curse of Multiagency in Robust Multi-Agent Reinforcement Learning [37.80275600302316]
分布的にロバストなマルコフゲーム (RMG) は、MARLのロバスト性を高めるために提案されている。
悪名高いオープンな2つの課題は、不確実性の集合の定式化と、対応するRMGがマルチ緊急の呪いを克服できるかどうかである。
本研究では,行動経済学に着想を得た自然なRMGのクラスを提案し,各エージェントの不確実性セットは,環境と他のエージェントの統合行動の両方によって形成される。
論文 参考訳(メタデータ) (2024-09-30T08:09:41Z) - AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。
従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。
エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
論文 参考訳(メタデータ) (2024-07-17T17:59:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。