論文の概要: GAMMAF: A Common Framework for Graph-Based Anomaly Monitoring Benchmarking in LLM Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2604.24477v1
- Date: Mon, 27 Apr 2026 13:45:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:08.057167
- Title: GAMMAF: A Common Framework for Graph-Based Anomaly Monitoring Benchmarking in LLM Multi-Agent Systems
- Title(参考訳): GAMMAF: LLMマルチエージェントシステムにおけるグラフベースの異常監視ベンチマークのための共通フレームワーク
- Authors: Pablo Mateo-Torrejón, Alfonso Sánchez-Macián,
- Abstract要約: 本稿では,オープンソースのベンチマークプラットフォームであるGammaf(LLM Multi-Agent System Framework用のグラフベースの異常モニタリング)を紹介する。
Gammafは、新しい防御機構ではなく、合成マルチエージェントインタラクションデータセットを生成するために設計された包括的な評価アーキテクチャである。
- 参考スコア(独自算出の注目度): 0.42970700836450487
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The rapid integration of Large Language Models (LLMs) into Multi-Agent Systems (MAS) has significantly enhanced their collaborative problem-solving capabilities, but it has also expanded their attack surfaces, exposing them to vulnerabilities such as prompt infection and compromised inter-agent communication. While emerging graph-based anomaly detection methods show promise in protecting these networks, the field currently lacks a standardized, reproducible environment to train these models and evaluate their efficacy. To address this gap, we introduce Gammaf (Graph-based Anomaly Monitoring for LLM Multi-Agent systems Framework), an open-source benchmarking platform. Gammaf is not a novel defense mechanism itself, but rather a comprehensive evaluation architecture designed to generate synthetic multi-agent interaction datasets and benchmark the performance of existing and future defense models. The proposed framework operates through two interdependent pipelines: a Training Data Generation stage, which simulates debates across varied network topologies to capture interactions as robust attributed graphs, and a Defense System Benchmarking stage, which actively evaluates defense models by dynamically isolating flagged adversarial nodes during live inference rounds. Through rigorous evaluation using established defense baselines (XG-Guard and BlindGuard) across multiple knowledge tasks (such as MMLU-Pro and GSM8K), we demonstrate Gammaf's high utility, topological scalability, and execution efficiency. Furthermore, our experimental results reveal that equipping an LLM-MAS with effective attack remediation not only recovers system integrity but also substantially reduces overall operational costs by facilitating early consensus and cutting off the extensive token generation typical of adversarial agents.
- Abstract(参考訳): LLM(Large Language Models)をマルチエージェントシステム(Multi-Agent Systems、MAS)に迅速に統合することで、協調的な問題解決能力が大幅に向上したが、攻撃面を拡大し、迅速な感染やエージェント間通信などの脆弱性に晒した。
新たなグラフベースの異常検出手法は、これらのネットワークを保護する上で有望であることを示しているが、現時点では、これらのモデルをトレーニングし、その有効性を評価するための標準化された再現可能な環境が欠如している。
このギャップに対処するため、オープンソースのベンチマークプラットフォームであるGammaf(LLM Multi-Agent Systems Framework用のグラフベースの異常モニタリング)を紹介します。
Gammafは、新しい防衛機構ではなく、合成マルチエージェントインタラクションデータセットを生成し、既存の防衛モデルと将来の防衛モデルのパフォーマンスをベンチマークするために設計された包括的な評価アーキテクチャである。
提案するフレームワークは,ネットワークトポロジ間の議論をシミュレートして,ロバストな属性グラフとしてインタラクションをキャプチャするトレーニングデータ生成ステージと,ライブ推論ラウンド中にフラグ付き敵ノードを動的に分離することで,防衛モデルを積極的に評価するディフェンスシステムベンチマークステージという,2つの相互依存パイプラインを通じて運用されている。
複数の知識タスク(MMLU-ProやGSM8Kなど)に対して確立された防御ベースライン(XG-GuardとBlindGuard)を用いて厳密な評価を行うことで、ガマフの高ユーティリティ、トポロジ的スケーラビリティ、実行効率を実証する。
さらに, LLM-MASに効果的な攻撃修復を施すことは, システムの整合性を回復するだけでなく, 早期のコンセンサスを容易にし, 敵エージェントに典型的な広範囲なトークン生成を遮断することにより, 全体の運用コストを大幅に削減することを示した。
関連論文リスト
- T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search [49.99459363244884]
提案手法は, 対向的プロンプトの発見を導くために, 実行トラジェクトリを利用するトラジェクトリ対応の進化探索手法であるT-MAPを提案する。
本手法は,安全ガードレールをバイパスするだけでなく,実際のツールインタラクションによる有害な目標を確実に実現するための攻撃の自動生成を可能にする。
論文 参考訳(メタデータ) (2026-03-21T12:33:34Z) - Agentic Spatio-Temporal Grounding via Collaborative Reasoning [80.83158605034465]
時間的ビデオグラウンド(Temporal Video Grounding)は、テキストクエリが与えられたビデオ内の対象物または人の時間的チューブを検索することを目的としている。
本稿では,STVGの課題に対して,オープンワールドおよびトレーニングフリーシナリオに向けたエージェント時空間グラウンド(ASTG)フレームワークを提案する。
具体的には、現代多言語モデル(MLLM)を活用した2つの特殊エージェントSRA(Spatial Reasoning Agent)とTRA(Temporal Reasoning Agent)である。
人気のあるベンチマークの実験は、既存の弱教師付きおよびゼロショットアプローチをマージンで上回る提案手法の優位性を実証している。
論文 参考訳(メタデータ) (2026-02-10T10:16:27Z) - Multi-Agent Collaborative Intrusion Detection for Low-Altitude Economy IoT: An LLM-Enhanced Agentic AI Framework [60.72591149679355]
低高度経済の急速な拡大により、インターネット・オブ・モノ(LAE-IoT)ネットワークは前例のないセキュリティ上の課題を生んだ。
従来の侵入検知システムは、空中IoT環境のユニークな特徴に対処できない。
LAE-IoTネットワークにおける侵入検出を強化するための大規模言語モデル(LLM)対応エージェントAIフレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-25T12:47:25Z) - Explainable and Fine-Grained Safeguarding of LLM Multi-Agent Systems via Bi-Level Graph Anomaly Detection [76.91230292971115]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は複雑なタスクを解く上で強力な能力を示している。
XG-Guardは、MAS内の悪意のあるエージェントを検出するための、説明可能な、きめ細かい保護フレームワークである。
論文 参考訳(メタデータ) (2025-12-21T13:46:36Z) - MIRAGE: Misleading Retrieval-Augmented Generation via Black-box and Query-agnostic Poisoning Attacks [47.46936341268548]
Retrieval-Augmented Generation (RAG)システムでは、コーパス中毒という致命的な攻撃面が導入されている。
我々は,厳格なブラックボックスとクエリ非依存環境のために設計された,新しい多段階毒素パイプラインであるMIRAGEを提案する。
大規模な実験により、MIRAGEは攻撃効果とステルスネスの両方において既存のベースラインを著しく上回っていることが示された。
論文 参考訳(メタデータ) (2025-12-09T06:38:16Z) - Monitoring LLM-based Multi-Agent Systems Against Corruptions via Node Evaluation [11.369402753246396]
大規模言語モデル(LLM)ベースのマルチエージェントシステム(MAS)は、AIアプリケーションの一般的なパラダイムとなっている。
我々は,MASグラフ内の通信を継続的に監視するMASグラフ構造に対する動的防御パラダイムを提案する。
本手法は既存のMAS防御機構を著しく上回り,信頼性の高いアプリケーションに有効なガードレールを提供する。
論文 参考訳(メタデータ) (2025-10-22T09:43:32Z) - Agent4FaceForgery: Multi-Agent LLM Framework for Realistic Face Forgery Detection [108.5042835056188]
この作業では,2つの基本的な問題に対処するため,Agent4FaceForgeryを導入している。
人間の偽造の多様な意図と反復的なプロセスを捉える方法。
ソーシャルメディアの偽造に付随する複雑な、しばしば敵対的な、テキストと画像のインタラクションをモデル化する方法。
論文 参考訳(メタデータ) (2025-09-16T01:05:01Z) - Poster: Enhancing GNN Robustness for Network Intrusion Detection via Agent-based Analysis [5.881825061973424]
グラフニューラルネットワーク(GNN)は、NIDS(Network Intrusion Detection Systems)に非常に有望であることを示す
GNNは分布のドリフトによって性能が低下し、現実的な敵攻撃に対するロバスト性が欠如している。
本研究は,エージェントパイプラインにLarge Language Models(LLMs)を模擬サイバーセキュリティ専門家エージェントとして使用することにより,GNNの堅牢性と一般化を促進する新しいアプローチを提案する。
論文 参考訳(メタデータ) (2025-06-25T19:49:55Z) - MrM: Black-Box Membership Inference Attacks against Multimodal RAG Systems [31.53306157650065]
マルチモーダル検索拡張生成(RAG)システムは、クロスモーダル知識を統合することで、大きな視覚言語モデルを強化する。
これらの知識データベースには、プライバシー保護を必要とする機密情報が含まれている可能性がある。
MrMはマルチモーダルRAGシステムを対象とした最初のブラックボックスMIAフレームワークである。
論文 参考訳(メタデータ) (2025-06-09T03:48:50Z) - ATOM: A Framework of Detecting Query-Based Model Extraction Attacks for Graph Neural Networks [18.488168353080464]
グラフニューラルネットワーク(GNN)は、グラフベースの機械学習・アズ・ア・サービス(GML)プラットフォームで注目を集めているが、グラフベースのモデル抽出攻撃(MEAs)に弱いままである。
GNNに適した新しいリアルタイムMEA検出フレームワークであるATOMを提案する。
ATOMはシーケンシャルモデリングと強化学習を統合して、進化する攻撃パターンを動的に検出し、$k$coreの埋め込みを利用して構造特性をキャプチャし、検出精度を向上させる。
論文 参考訳(メタデータ) (2025-03-20T20:25:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。