論文の概要: SwarmSafe-Delta: Isolating Message Effects on LLM Agent Safety
- arxiv url: http://arxiv.org/abs/2611.16123v1
- Date: Thu, 12 Nov 2026 00:17:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.293618
- Title: SwarmSafe-Delta: Isolating Message Effects on LLM Agent Safety
- Title(参考訳): SwarmSafe-Delta: LLMエージェントの安全性に対するメッセージ効果の分離
- Abstract要約: SwarmSafe-Deltaは、上流の計算を凍結し、実際の、隠れた、フォーマットにマッチしたデリバリを変更でき、単一のコミットアクションをスコアする。
N=4$での実際の配達は21.4%のリスクワールド違反を発生させるが、プラセボでは5.0%、隠された配送では1.0%である。
- 参考スコア(独自算出の注目度): 0.38073142980733005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When a tool-using LLM agent team violates policy, aggregate outcomes do not reveal whether an upstream message changed the executor's action. We introduce SwarmSafe-Delta, a paired executable protocol that freezes upstream computation, varies real, hidden, and format-matched placebo delivery, and scores a single committed action against deterministic benign and risky policy states under preassigned budgets. Across four models and constructed optional tasks, real delivery at $N=4$ produces 21.4% risky-world violations, versus 5.0% with placebo and 1.0% with hidden delivery (paired differences +16.4 and +20.3 percentage points). Real delivery also improves benign task success, illustrating that suppressing communication sacrifices utility. In a second regime constructed to require an upstream lookup route, real delivery improves safe completion by 74.2 points relative to hidden delivery. These effects quantify message-delivery contrasts under specified information dependencies, not naturally occurring failure rates. Exploratory action-level analyses show that the effect depends strongly on whether the upstream message recommends a prerequisite check or direct execution; model differences also largely track these message compositions. The contribution is a controlled, execution-grounded measurement protocol rather than a general claim that agent communication is harmful or protective.
- Abstract(参考訳): ツールを使用するLLMエージェントチームがポリシーに違反している場合、アグリゲートの結果は、上流のメッセージが実行者のアクションを変えたかどうかを明らかにしない。
SwarmSafe-Deltaは、上流の計算を凍結し、実際の、隠蔽された、フォーマットに適合したフェイズボ配信を変更でき、事前の予算の下で決定的良性およびリスクのあるポリシー状態に対して単一のコミットアクションをスコアする。
4つのモデルと任意のタスクで構成され、N=4$での実際の配送は21.4%のリスクのある世界的違反を発生させるが、プラセボでは5.0%、隠された配送では1.0%(paired difference +16.4 and +20.3%)である。
実際のデリバリは、良心的なタスクの成功も改善し、コミュニケーションの抑制はユーティリティを犠牲にする、と説明します。
上流のルックアップルートを必要とする第2の体制では、実際の配送は、隠れた配送と比較して74.2ポイントの安全な完了を改善する。
これらの効果は、特定の情報依存の下でメッセージ配信のコントラストを定量化します。
探索的なアクションレベル分析は、上流のメッセージが前提条件のチェックや直接実行を推奨するかどうかに大きく依存していることを示している。
このコントリビューションは、エージェント通信が有害または保護であるという一般的な主張よりも、制御された実行地上計測プロトコルである。
関連論文リスト
- Who Speaks, Who Authorizes, Who Acts? Understanding Trust Boundaries in Multi-Agent LLMs [9.778071238570796]
我々は、ポリシーに反する虚偽の証明を構築できる、最小の独立に妥協された署名者連合を特徴づける。
4つのモデルにまたがる固定メッセージルーティングのコントラストは、規定された大きな効果基準に合致しない。
提示されたソース・アイデンティティ・キューは、3つのモデルにわたる保護・アクションの選択を均一に増やさない。
個別の単一モデル認証チェックは、ポリシー無効な妥協署名証明を持つ偽のクレームがゲートを通過可能であることを示す。
論文 参考訳(メタデータ) (2026-10-16T22:49:41Z) - Embedding Information in Policy Randomness: Distribution-Preserving Implicit Communication in MDPs [49.55606305082899]
我々は,所定の政策に従って環境と対話するエージェントを考える。
ポリシーのランダムな行動実現を慎重に調整することにより、エージェントの行動に情報を埋め込むことができる。
本稿では、送信するメッセージに応じて動作を選択する、後マッチングランダムネス(PRAM)と呼ばれる符号化方式を提案する。
論文 参考訳(メタデータ) (2026-10-11T23:20:39Z) - AgentBoundary: Counterfactual Evaluation of Safety in Tool-Using LLM Agents [13.557645845585776]
大規模な言語モデルの安全性の整合性は、要求に答えるか拒否するかに大きく取り組まれている。
エージェント的設定では、同じモデルが実行中にパーミッションクリティカルな証拠として振る舞うかどうかを判断しなければならない。
AgentBoundは、ツール使用エージェントの安全性のための、最初の4方向の対物生成・評価フレームワークである。
論文 参考訳(メタデータ) (2026-09-27T15:19:52Z) - PredActor: Predictive Action Diffusion for Steerable Onboard Humanoid Control [49.348182500314614]
アクションのみの拡散は直接アクションを生成するが、テスト時間運動の目的に対する明示的な将来の軌道は欠如している。
連立状態-作用拡散はこの表現を提供するが、代表コントローラはしばしば特権付きフルボディ状態に依存する。
提案するPredActorは,これらのステアリングを直接実行されるポリシに含める,予測的行動拡散ポリシである。
論文 参考訳(メタデータ) (2026-09-21T16:20:25Z) - Collective Loss of Control in LLM Agent Systems: An Epidemic Account of Mutation, Contagion, and Recovery [5.713807329849712]
本報告では,偶発突然変異,伝染病,回復にまつわる疫病の解明について述べる。
報告されたOpenAIエージェントコーディネートインシデントを動機として,このメカニズムの2つの要素について検討した。
論文 参考訳(メタデータ) (2026-09-16T10:55:13Z) - EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。
これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。
また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
論文 参考訳(メタデータ) (2026-09-05T05:56:41Z) - SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳(メタデータ) (2026-08-31T03:39:43Z) - Zero-Knowledge Predicate Proofs Between AI Agents: A Measured, Cross-Protocol Gateway and the Source-Integrity Gap [0.0]
マルチエージェントAIプラットフォームは、ステージングからプロダクションへ素早く移行するが、エージェントが信頼を確立する方法はまだ初歩的だ。
提案から実行システムまで,エージェント間での検証可能なデータ最小化を行う。
32ビットのしきい値述語は6.2msで証明され、608バイトのBulletproofs証明で1.0msで検証される。
論文 参考訳(メタデータ) (2026-08-30T23:16:17Z) - ASPI: Seeking Ambiguity Clarification Amplifies Prompt Injection Vulnerability in LLM Agents [2.585367539248893]
我々は,標準実行から明確化検索状態への遷移が,インジェクション攻撃に対するエージェントの感受性を高めるかどうかを検討する。
728のタスクアタックシナリオのベンチマークであるASPIを導入し、明確なエージェント状態として明確化を分離する。
明確化の探究は一貫して、脆弱性を大幅に増幅する。
論文 参考訳(メタデータ) (2026-05-17T08:30:45Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳(メタデータ) (2026-05-12T09:56:28Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳(メタデータ) (2025-09-15T02:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。