論文の概要: Smarter Saboteurs, Better Fixers: Scaling & Security in Linear Multi-Agent Workflows
- arxiv url: http://arxiv.org/abs/2606.12709v1
- Date: Wed, 10 Jun 2026 21:55:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.478842
- Title: Smarter Saboteurs, Better Fixers: Scaling & Security in Linear Multi-Agent Workflows
- Title（参考訳）: より賢く、より優れたフィクスチャ: 線形マルチエージェントワークフローのスケーリングとセキュリティ
- Authors: Timothy McAllister, Sina Abdidizaji, Ivan Garibay, Ozlem Ozmen Garibay,
- Abstract要約: As-based multi-agent system (MAS) は野生に展開され、敵の妥協に対する協調構造のレジリエンスが重要な安全上の懸念となっている。
攻撃者は、MAS内の個々のエージェントを妨害するために、プロンプト・インジェクションまたはジェイルブレイクを利用することができる。
本稿では,モデルスケールが線形マルチエージェントレジリエンスのセキュリティに与える影響について検討する。
- 参考スコア（独自算出の注目度）: 1.075515727254947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As LLM-based multi-agent systems (MAS) are deployed in the wild, the resilience of their collaboration structures against adversarial compromise becomes a critical safety concern. Attackers may leverage prompt-injection or jailbreaking to sabotage individual agents within MAS workflows, but the interaction between model scaling and system-level resilience remains poorly understood. This paper investigates how model scale affects the security of linear multi-agent workflows. Our experiments across scales of two open-weight model families on the HumanEval benchmark reveal a compliance-correction symmetry: larger models are far more likely to faithfully execute malicious instructions, with the control-to-malicious performance drop reaching 53.7pp at 27B in uncorrected pipelines. However, appending a lightweight terminal Fixer stage collapses this to 0.6pp and restores statistical parity with control-level performance, demonstrating that strictly linear collaboration structures can be viable and resilient to adversaries at this scale, and suggesting that the brittleness previously attributed to linear topology may stem from a lack of correction.
- Abstract（参考訳）: LLMベースのマルチエージェントシステム(MAS)が野生に展開されるにつれ、敵の妥協に対する協調構造のレジリエンスが重要となる。
攻撃者は、プロンプトインジェクションやジェイルブレイクを利用して、MASワークフロー内の個々のエージェントを妨害するが、モデルスケーリングとシステムレベルのレジリエンスの相互作用は理解されていない。
本稿では,モデルスケールが線形マルチエージェントワークフローのセキュリティに与える影響について検討する。
HumanEvalベンチマークの2つのオープンウェイトモデルファミリのスケールにわたる実験では、コンプライアンス補正対称性が明らかにされている。
しかし、軽量端末固定器の段が0.6ppに崩壊し、制御レベルの性能で統計的に同等性を回復し、このスケールでは厳密な線形協調構造が敵に対して有効で弾力性があることを示し、以前は線形トポロジーに起因していた脆性は補正の欠如に起因する可能性があることを示唆している。
関連論文リスト
- RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs [5.100622189286672]
下流タスクのための微調整型セーフティアライメント言語モデルは、拒否動作を著しく低下させる可能性がある。
本稿では,モデル適応時の安全関連構造を保存する表現レベルの微調整フレームワークREFUSALGUARDを紹介する。
論文 参考訳（メタデータ） (2026-05-03T14:48:18Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - TraceSafe: A Systematic Assessment of LLM Guardrails on Multi-Step Tool-Calling Trajectories [20.868825285848196]
安全ガードレールは、自然言語の応答には適しているが、その有効性は、多段階のツール使用軌跡の中では明らかにされていない。
このギャップに対処するために、中間軌道安全性を評価するために特別に設計された最初の包括的なベンチマークであるStructureSafe-Benchを紹介します。
論文 参考訳（メタデータ） (2026-04-08T15:46:14Z) - When Safe Models Merge into Danger: Exploiting Latent Vulnerabilities in LLM Fusion [15.004295056225002]
モデルマージは、追加の訓練コストなしで複数の微調整 LLM の特殊能力を組み合わせるための強力な技術として登場した。
私たちはTrojanMergeというフレームワークを紹介します。これは、潜伏する悪意のあるコンポーネントをソースモデルに埋め込むフレームワークで、個別に良性のままですが、マージ時にひどいミスアライメントモデルを生成します。
論文 参考訳（メタデータ） (2026-04-01T08:32:46Z) - From Spark to Fire: Modeling and Mitigating Error Cascades in LLM-Based Multi-Agent Collaboration [27.233204826914243]
協調的なメカニズムは、小さな不正確さを繰り返しを通じてシステムレベルの偽のコンセンサスに固化させる可能性がある。
既存の保護は、シングルエージェントの検証やコラボレーションアーキテクチャの変更を必要とすることが多い。
本稿では、協調を有向依存グラフとして抽象化するLLM-MASに適した伝搬ダイナミクスモデルを提案する。
論文 参考訳（メタデータ） (2026-03-04T11:45:27Z) - BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。
BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
論文 参考訳（メタデータ） (2026-02-23T18:19:46Z) - Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。
これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。
セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
論文 参考訳（メタデータ） (2026-01-31T13:06:11Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z) - DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。
デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
論文 参考訳（メタデータ） (2025-09-29T05:17:10Z) - Vulnerable Agent Identification in Large-Scale Multi-Agent Reinforcement Learning [49.31650627835956]
システムがスケールアップすると、部分的なエージェントの障害は避けられないものとなり、全体的なパフォーマンスが著しく低下するエージェントのサブセットを特定することが重要になる。
本稿では,大規模マルチエージェント強化学習(MARL)における脆弱性エージェント識別(VAI)問題について検討する。
実験により, 大規模MARLおよびルールベースシステムにおいて, より脆弱なエージェントを効果的に同定し, システムを悪用し, それぞれのエージェントの脆弱性を明らかにする値関数を学習した。
論文 参考訳（メタデータ） (2025-09-18T16:03:50Z) - AgentAlign: Navigating Safety Alignment in the Shift from Informative to Agentic Large Language Models [23.916663925674737]
これまでの研究によると、現在のLSMベースのエージェントは攻撃を受けなくても多くの悪意あるタスクを実行している。
本稿では,安全なアライメントデータ合成の媒体として抽象的行動連鎖を利用する新しいフレームワークであるAgentAlignを提案する。
本フレームワークは,複雑なマルチステップのダイナミックスを捕捉しながら,高精度かつ実行可能な命令の生成を可能にする。
論文 参考訳（メタデータ） (2025-05-29T03:02:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。