Fugu-MT 論文翻訳(概要): HARP: Measuring Harm Amplification in Multi-Agent LLM Systems

論文の概要: HARP: Measuring Harm Amplification in Multi-Agent LLM Systems

arxiv url: http://arxiv.org/abs/2605.27489v1
Date: Tue, 26 May 2026 16:03:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-28 17:38:55.373195
Title: HARP: Measuring Harm Amplification in Multi-Agent LLM Systems
Title（参考訳）: HARP:マルチエージェントLLMシステムにおけるハーム増幅の測定
Authors: Md Hafizur Rahman, Zafaryab Haider, Tanzim Mahfuz, Prabuddha Chakraborty,
Abstract要約: マルチエージェントLLMシステムはエージェント、ツール、共有コンテキスト、メモリ、決定ゲートで分解される。 Harm Amplification through Role Perturbationは、ローカル・グローバル・ハーフ・アンプリフィケーションを研究するためのトレースファーストの方法論である。 Role PerturbationによるHarm Amplificationは、セキュアなマルチエージェント評価はバイパスだけでなく伝播も測定する必要がある、と論じている。
参考スコア（独自算出の注目度）: 2.747398258852965
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-agent LLM systems decompose workflows across agents, tools, shared context, memory, and decision gates. This modularity improves interpretability, but creates a propagation risk: a bounded perturbation to one component can be reused by other agents and amplified into system-level harm. We introduce HARP (Harm Amplification through Role Perturbation), a trace-first methodology for studying local-to-global harm amplification in multi-agent LLM systems. HARP compares paired clean and perturbed executions and records specialist outputs, tool calls, memory reads/writes, guard events, oracle logs, latency, token cost, and decisions. We define local harm as deviation from targeted agents or corrupted channels, global harm as deviation over the full trace, and harm amplification as (H_global/H_local). This complements attack success rate with a measure of how strongly orchestration spreads harm beyond the attack point. We instantiate HARP in a finance-oriented seven-agent system with a deterministic decision gate and configurable attack harness for specialist compromise, collusion, shared-context corruption, and temporal or memory-persistent attacks. Across five defenses, prompt-only defenses preserve benign utility but leave high success and stealth; pre-tool and step-level guards reduce some failures with utility or latency costs; and IntegrityGuard, a trace-consistency defense, achieves the lowest attack success and global harm but introduces utility/cost trade-offs. Results show that single-specialist compromise produces the strongest amplification, shared-context corruption yields the highest attack success, and temporal persistence produces the largest malicious impact. HARP argues that secure multi-agent evaluation must measure not only bypass, but propagation.
Abstract（参考訳）: マルチエージェントLLMシステムは、エージェント、ツール、共有コンテキスト、メモリ、決定ゲートにまたがるワークフローを分解する。ひとつのコンポーネントに対する有界摂動は、他のエージェントによって再利用され、システムレベルの害に増幅される。 HARP(Harm Amplification through Role Perturbation)は,多エージェントLLMシステムにおける局所的・言語的調和増幅を研究するためのトレースファースト手法である。 HARPは、ペア化されたクリーンで摂動的な実行と、専門的なアウトプット、ツールコール、メモリ読み取り/書き込み、ガードイベント、オラクルログ、レイテンシ、トークンコスト、決定を記録する。我々は,局所的害を標的エージェントや腐敗チャネルからの逸脱,大域的害を全トレース上の逸脱と定義し,(H_global/H_local)として増幅する。これにより、アタック成功率を補完し、アタックポイントを越えて強力なオーケストレーションが危害を拡大する度合いを測る。金融指向の7エージェントシステムでHARPをインスタンス化し、決定論的決定ゲートと設定可能な攻撃ハーネスを用いて、専門家の妥協、共謀、共有コンテキストの腐敗、時間的または記憶的攻撃を行う。 5つの防衛、即時のみの防衛は良質なユーティリティを維持し、高い成功とステルスを残し、前ツールとステップレベルのガードはユーティリティやレイテンシのコストでいくつかの障害を減らす。その結果、単一特殊主義の妥協は最も強い増幅を発生し、共有コンテキストの腐敗は最も高い攻撃成功をもたらし、時間的持続性は最大の悪影響をもたらすことが示された。 HARPは、安全なマルチエージェント評価はバイパスだけでなく伝播を測定する必要があると主張している。

関連論文リスト

PropGuard: Safeguarding LLM-MAS via Propagation-Aware Exploration and Remediation [25.496319464385277]
既存の防御は、良心的な協調を妨害することなく、きめ細かい伝播経路や汚染状態の追跡に失敗する。 PropGuardは、応答中心のリスク推定とフルステートのエビデンス保存を組み合わせた、デュアルビュー・テンポラルグラフを構築している。プロップガードは高いタスクレベルの防衛の成功を維持しながら常に攻撃し、好意的な修復効率のトレードオフを実現した。
論文参考訳（メタデータ） (2026-05-08T03:26:55Z)
GAMMAF: A Common Framework for Graph-Based Anomaly Monitoring Benchmarking in LLM Multi-Agent Systems [0.42970700836450487]
本稿では,オープンソースのベンチマークプラットフォームであるGammaf(LLM Multi-Agent System Framework用のグラフベースの異常モニタリング)を紹介する。 Gammafは、新しい防御機構ではなく、合成マルチエージェントインタラクションデータセットを生成するために設計された包括的な評価アーキテクチャである。
論文参考訳（メタデータ） (2026-04-27T13:45:14Z)
AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations [38.49666480491258]
LLMエージェントは間接プロンプト注入(IPI)に対して非常に脆弱である本稿では,特定のツールコールが生成される理由を問うことでエージェントをセキュアにする,アクションレベルの因果属性という新しいパラダイムを提案する。我々はこのパラダイムを、並列対実テストに基づくランタイムディフェンスであるAttriGuardでインスタンス化する。
論文参考訳（メタデータ） (2026-03-11T13:23:46Z)
AgentSentry: Mitigating Indirect Prompt Injection in LLM Agents via Temporal Causal Diagnostics and Context Purification [25.817251923574286]
大規模言語モデル(LLM)エージェントのための新しい推論時間検出・緩和フレームワークを提案する。 AgentSentryは、時間的因果的テイクオーバーとしてマルチターンIPIをモデル化する最初の推論時防御である。我々は, textscAgentDojo ベンチマークにおいて, 4つのタスクスイート, 3つの IPI 攻撃ファミリー, 複数のブラックボックス LLM に対する AgentSentry の評価を行った。
論文参考訳（メタデータ） (2026-02-26T07:59:10Z)
INFA-Guard: Mitigating Malicious Propagation via Infection-Aware Safeguarding in LLM-Based Multi-Agent Systems [70.37731999972785]
本稿では,感染防止対策の枠組みであるINFA-Guardを提案する。修復中、INFA-Guardは攻撃者を置き換え、感染した者を修復し、トポロジカルな整合性を維持しながら悪意のある伝播を避ける。
論文参考訳（メタデータ） (2026-01-21T05:27:08Z)
The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文参考訳（メタデータ） (2025-12-01T07:05:23Z)
BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文参考訳（メタデータ） (2025-08-11T16:04:47Z)
Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
論文参考訳（メタデータ） (2025-05-03T05:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。