論文の概要: GUARDIAN: Safeguarding LLM Multi-Agent Collaborations with Temporal Graph Modeling
- arxiv url: http://arxiv.org/abs/2505.19234v1
- Date: Sun, 25 May 2025 17:15:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.992937
- Title: GUARDIAN: Safeguarding LLM Multi-Agent Collaborations with Temporal Graph Modeling
- Title(参考訳): GUARDIAN: 時間グラフモデリングによるLLMマルチエージェントコラボレーションの保護
- Authors: Jialong Zhou, Lichao Wang, Xiao Yang,
- Abstract要約: 大規模言語モデル (LLM) は、複雑な対話や多ターン対話を行えるインテリジェントエージェントの開発を可能にする。
GUARDIANは、GUARDing Intelligent Agent ColllaboratioNsにおいて、複数の安全上の懸念を検出し緩和するための統一的な方法である。
- 参考スコア(独自算出の注目度): 2.7211182721830123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emergence of large language models (LLMs) enables the development of intelligent agents capable of engaging in complex and multi-turn dialogues. However, multi-agent collaboration face critical safety challenges, such as hallucination amplification and error injection and propagation. This paper presents GUARDIAN, a unified method for detecting and mitigating multiple safety concerns in GUARDing Intelligent Agent collaboratioNs. By modeling the multi-agent collaboration process as a discrete-time temporal attributed graph, GUARDIAN explicitly captures the propagation dynamics of hallucinations and errors. The unsupervised encoder-decoder architecture incorporating an incremental training paradigm, learns to reconstruct node attributes and graph structures from latent embeddings, enabling the identification of anomalous nodes and edges with unparalleled precision. Moreover, we introduce a graph abstraction mechanism based on the Information Bottleneck Theory, which compresses temporal interaction graphs while preserving essential patterns. Extensive experiments demonstrate GUARDIAN's effectiveness in safeguarding LLM multi-agent collaborations against diverse safety vulnerabilities, achieving state-of-the-art accuracy with efficient resource utilization.
- Abstract(参考訳): 大規模言語モデル(LLM)の出現により、複雑な対話や多ターン対話を行えるインテリジェントエージェントの開発が可能になる。
しかし、マルチエージェントのコラボレーションは、幻覚の増幅やエラー注入、伝播といった重要な安全上の課題に直面している。
本稿では,GUARDIANについて述べる。GUARDing Intelligent Agent ColllaboratioNsにおいて,複数の安全問題を検出し緩和するための統一手法である。
GUARDIANは、マルチエージェントコラボレーションプロセスを離散時間時属性グラフとしてモデル化することにより、幻覚やエラーの伝播ダイナミクスを明示的に捉える。
インクリメンタルトレーニングパラダイムを取り入れた教師なしエンコーダ・デコーダアーキテクチャでは,ノード属性とグラフ構造を遅延埋め込みから再構築し,異常ノードとエッジを非並列的精度で識別する。
さらに,本質的なパターンを保ちながら時間的相互作用グラフを圧縮するInformation Bottleneck Theoryに基づくグラフ抽象化機構を導入する。
広範囲にわたる実験により、GUARDIANは多様な安全性の脆弱性に対してLLMのマルチエージェントコラボレーションを保護し、効率的な資源利用によって最先端の精度を達成した。
関連論文リスト
- SentinelAgent: Graph-based Anomaly Detection in Multi-Agent Systems [11.497269773189254]
大規模言語モデル(LLM)に基づくマルチエージェントシステム(MAS)に適したシステムレベルの異常検出フレームワークを提案する。
本稿では,エージェント間相互作用を動的実行グラフとしてモデル化し,ノード,エッジ,パスレベルでの意味的異常検出を可能にするグラフベースのフレームワークを提案する。
第2に,セキュリティポリシとコンテキスト推論に基づくMAS実行の監視,解析,介入を行うLLMによる監視エージェントである,プラグイン可能なSentinelAgentを導入する。
論文 参考訳(メタデータ) (2025-05-30T04:25:19Z) - Perspectives for Direct Interpretability in Multi-Agent Deep Reinforcement Learning [0.41783829807634765]
マルチエージェントディープ強化学習(MADRL)は、ロボット工学やゲームにおいて複雑な問題を解くのに効果的であることが証明された。
本稿では, 学習モデルから直接, ポストホックな説明を生成することによって, 直接解釈可能であることを提唱する。
我々は、関連バックプロパゲーション、知識エディション、モデルステアリング、アクティベーションパッチ、スパースオートエンコーダ、サーキットディスカバリなど、現代的な手法を探求する。
論文 参考訳(メタデータ) (2025-02-02T09:15:27Z) - Algorithmic Segmentation and Behavioral Profiling for Ransomware Detection Using Temporal-Correlation Graphs [0.0]
テンポラル相関グラフを利用して、悪意ある操作に固有の複雑な関係と時間パターンをモデル化する新しいフレームワークが導入された。
実験では、さまざまなランサムウェアファミリーにまたがるフレームワークの有効性を、常に高い精度、リコール、全体的な検出精度で実証した。
この研究は、動的グラフ分析と機械学習を統合して、脅威検出における将来のイノベーションを実現することによって、サイバーセキュリティ技術の進歩に貢献している。
論文 参考訳(メタデータ) (2025-01-29T06:09:25Z) - Scaling Large Language Model-based Multi-Agent Collaboration [72.8998796426346]
近年の大規模言語モデル駆動型自律エージェントのブレークスルーにより、複数エージェントのコラボレーションが集団的推論を通じて各個人を上回ることが判明している。
本研究は、協調剤の連続的な添加が同様の利益をもたらすかどうかを考察する。
論文 参考訳(メタデータ) (2024-06-11T11:02:04Z) - Secret Collusion among Generative AI Agents: Multi-Agent Deception via Steganography [43.468790060808914]
近年の大規模言語モデル(LLM)では,コミュニケーション生成AIエージェントのグループによる共同作業の解決が試みられている。
これは、未承認の情報共有に関するプライバシーとセキュリティ上の問題を引き起こす。
現代のステガノグラフィー技術は、そのようなダイナミクスを検出しにくくする。
論文 参考訳(メタデータ) (2024-02-12T09:31:21Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳(メタデータ) (2023-10-06T10:40:46Z) - MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
MADiffは拡散型マルチエージェント学習フレームワークである。
分散ポリシと集中型コントローラの両方として機能する。
実験の結果,MADiffは様々なマルチエージェント学習タスクにおいて,ベースラインアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2023-05-27T02:14:09Z) - Decentralized Adversarial Training over Graphs [44.03711922549992]
近年、敵攻撃に対する機械学習モデルの脆弱性が注目されている。
マルチエージェントシステムのための分散逆数フレームワークを開発する。
論文 参考訳(メタデータ) (2023-03-23T15:05:16Z) - Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially
Observable Environments [9.067091068256747]
本稿では,階層型グラフ再帰ネットワーク(HGRN)と呼ばれる新しいネットワーク構造を提案する。
以上の技術に基づいて,Soft-HGRNと呼ばれる値に基づくMADRLアルゴリズムと,SAC-HRGNというアクタクリティカルな変種を提案する。
論文 参考訳(メタデータ) (2021-09-05T09:51:25Z) - Multi-Agent Imitation Learning with Copulas [102.27052968901894]
マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。
本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。
提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
論文 参考訳(メタデータ) (2021-07-10T03:49:41Z) - Information Obfuscation of Graph Neural Networks [96.8421624921384]
本稿では,グラフ構造化データを用いた学習において,情報難読化による機密属性保護の問題について検討する。
本稿では,全変動量とワッサーシュタイン距離を交互に学習することで,事前決定された機密属性を局所的にフィルタリングするフレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-28T17:55:04Z) - Graph Backdoor [53.70971502299977]
GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。
GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。
トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
論文 参考訳(メタデータ) (2020-06-21T19:45:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。