論文の概要: Delegated Misalignment: How Multi-Agent Structures Amplify LLM Safety Risks

• arxiv url: http://arxiv.org/abs/2609.27900v1
• Date: Wed, 26 Aug 2026 03:49:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.004281
• Title: Delegated Misalignment: How Multi-Agent Structures Amplify LLM Safety Risks
• Title（参考訳）: Delegated Misalignment: マルチエージェント構造がLLMの安全性リスクをいかに増幅するか
• Abstract要約: 安全アライメントは、主に単一エージェント脅威モデルの下で評価される。 2つの障害メカニズムがデリゲートの下に出現する: 主側での説明責任拡散と従属側での説明責任バイアスコンプライアンスである。 我々は,マルチエージェントLLMシステムが大規模に展開される前に,モデルごとのアライメントを超えて,複合安全機構に移行するようコミュニティに呼びかけている。
• 参考スコア（独自算出の注目度）: 27.661163378618653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed in multi-agent systems where a principal agent decomposes tasks and delegates them to subordinate agents that may invoke external tools. Safety alignment, however, is still evaluated almost exclusively under a single-agent threat model, treating safety as a property of the individual LLM. We show that this assumption breaks down: \emph{individual safety alignment fails to transfer to multi-agent settings}. Two failure mechanisms emerge under delegation: \emph{responsibility diffusion} on the principal side and \emph{role-bias compliance} on the subordinate side, jointly converting language-level refusal into actionable harm. We refer to this phenomenon as \textit{delegated misalignment} and study it through a three-condition protocol across 6 frontier LLMs on 49 hazardous tasks. Delegation amplifies end-to-end harm substantially: DeepSeek-V3.2's full-execution rate rises from 30.6\% to 77.6\% once delegation is introduced, and the same model behaves very differently across roles (GPT-5: 22.5\% as a single agent vs.\ 61.2\% as a subordinate). Ablations further show that standard single-layer defenses each fail on their own and can even backfire. We call on the community to move beyond per-model alignment and toward composite safety mechanisms before multi-agent LLM systems are deployed at scale.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、主エージェントがタスクを分解し、それらを外部ツールを呼び出す可能性のある従属エージェントに委譲するマルチエージェントシステムにますます導入されている。 しかし、安全アライメントは単一エージェント脅威モデルでのみ評価され、個々のLSMの特性として安全を扱います。 emph{individual safety alignment is fail to transfer to multi-agent settings}。 メイン側の \emph{responsibility diffusion} と下位側の \emph{role-bias compliance} の2つの障害メカニズムがデリゲートの下に出現し、言語レベルの拒絶を行動可能な害に変換する。 我々はこの現象を「textit{delegated misalignment}」と呼び、49の危険タスク上の6つのフロンティアLSMの3条件プロトコルを通して研究する。 DeepSeek-V3.2のフル実行率は、デリゲートが導入されると30.6\%から77.6\%に上昇し、同じモデルがロール間で非常に異なる振る舞いをする(GPT-5: 22.5\%)。 従属61.2\%。 アブレーションは、標準の単層防御がそれぞれ単独で失敗し、バックファイアさえできることを示している。 我々は,マルチエージェントLLMシステムが大規模に展開される前に,モデルごとのアライメントを超えて,複合安全機構に移行するようコミュニティに呼びかけている。

関連論文リスト

• Delegation Without Trust: An Empirical Gap Analysis of Identity, Authorization, and Runtime Governance in Multi-Agent LLM Systems [0.0]
  4つの敵を中心としたマルチエージェントデリゲートに対する脅威モデルを提案する。 デフォルトのランタイムモデリングの共通プラクティスが4つの脅威すべてに失敗することを示す。 我々は、ギャップを埋める認証ブローカを実装し、敵に評価する。
  論文  参考訳（メタデータ） (2026-08-31T19:09:34Z)
• AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
  大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。 既存の安全機構は主に外部ガードレールに依存している。 我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
  論文  参考訳（メタデータ） (2026-06-21T21:13:55Z)
• NRT-Bench: Benchmarking Multi-Turn Red-Teaming of LLM Operator Agents in Safety-Critical Control Rooms [7.1272747302976605]
  大規模言語モデル(LLM)エージェントは、安全クリティカルシステムのための監視コンポーネントとしてますます提案されている。 安全クリティカルシステムのオペレータとして機能するLLMエージェントのマルチターンリピートのためのベンチマークであるNRT-Benchを提案する。
  論文  参考訳（メタデータ） (2026-06-18T15:57:53Z)
• BackdoorAgent: A Unified Framework for Backdoor Attacks on LLM-based Agents [58.83028403414688]
  大規模言語モデル(LLM)エージェントは、計画、メモリ、ツールの使用を組み合わせた多段階ワークフローを通じてタスクを実行する。 エージェントワークフローの特定のステージに注入されたバックドアトリガーは、複数の中間状態を通して持続し、下流出力に悪影響を及ぼす可能性がある。 LLMエージェントにおけるバックドア脅威を統一したエージェント中心のビューを提供するモジュールおよびステージアウェアフレームワークである textbfBackdoorAgent を提案する。
  論文  参考訳（メタデータ） (2026-01-08T03:49:39Z)
• AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
  AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。 外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
  論文  参考訳（メタデータ） (2025-10-02T02:06:30Z)
• AgentMonitor: A Plug-and-Play Framework for Predictive and Secure Multi-Agent Systems [43.333567687032904]
  AgentMonitorはエージェントレベルで統合されたフレームワークで、インプットとアウトプットをキャプチャし、回帰モデルをトレーニングしてタスクのパフォーマンスを予測する統計に変換する。 さらに、悪意のあるエージェントによるセキュリティリスクに対処し、ネガティブな影響を軽減し、MASセキュリティを強化するために、リアルタイムの修正を適用することができる。
  論文  参考訳（メタデータ） (2024-08-27T11:24:38Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。 本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。