論文の概要: Operational Reframing and Approval-Framed Delegation in Multi-Agent LLM Safety
- arxiv url: http://arxiv.org/abs/2607.07097v1
- Date: Wed, 08 Jul 2026 07:31:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.315268
- Title: Operational Reframing and Approval-Framed Delegation in Multi-Agent LLM Safety
- Title（参考訳）: マルチエージェントLDMの安全性における操作リフレーミングと承認フレームデリゲーション
- Abstract要約: 安全評価は、直接のプロンプトとプランナー・エグゼクタパイプラインを比較し、その違いを単一の「パイプ効果」として報告することが多い。
有害な意図は、妥当な運用作業として再編成され、プランナーは要求を拒否または変換することができ、執行人は、事前の承認を示唆する委任状に従って行動することができる。
- 参考スコア（独自算出の注目度）: 7.731517937404174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety evaluations of multi-agent LLM systems often compare a direct prompt with a planner-executor pipeline and report the difference as a single "pipeline effect." We argue that this aggregate is difficult to interpret because it conflates three mechanisms: harmful intent may be reframed as plausible operational work, the planner may refuse or transform the request, and the executor may act under delegation prompts implying prior approval. To separate these factors, we introduce a five-condition controlled contrast design, evaluated on 30 synthetic harmful scenarios and an exploratory external validation set from four agent-safety benchmarks using LLM-judged compliance. Our results show that aggregate pipeline safety is not a stable architectural property. Operational reframing is the most portable risk signal, increasing compliance for GPT, Gemini, and DeepSeek across both scenario sets, while Claude is comparatively resistant. Planner behavior can offset this risk mainly through refusal; however, when the planner produces executable steps, the executor may become more compliant than under the direct operational baseline. Approval-framed delegation is sensitive to prompt design, model pairing, and scenario source, and a skeptical executor prompt sharply reduces compliance. Raw-direct model rankings can also mispredict deployed planner-executor behavior. Gemini is safest under raw direct prompts in the primary set yet shows the largest amplification with a Claude planner, rising from 8.9 percent to 38.9 percent compliance. GPTs near-zero aggregate pipeline effect instead hides a reframing increase canceled by planner refusal. These findings suggest that multi-agent safety evaluations should report reframing, planner behavior, delegation framing, and model pairing separately before attributing failures to architecture itself.
- Abstract（参考訳）: マルチエージェントLCMシステムの安全性評価は、直接プロンプトとプランナー・エグゼキュータパイプラインを比較し、その違いを単一の「パイプ効果」として報告することが多い。
有害な意図は、妥当な運用作業として再編成され、プランナーは要求を拒否または変換することができ、執行人は、事前の承認を示唆する委任状に従って行動することができる。
これらの要因を分離するために,LLM-judged コンプライアンスを用いた4つのエージェントセーフティベンチマークを用いて,30の合成有害シナリオに対して評価した5条件制御コントラスト設計を導入する。
その結果,アグリゲートパイプラインの安全性は安定的なアーキテクチャ特性ではないことがわかった。
操作リフレーミングは最もポータブルなリスクシグナルであり、GPT、Gemini、DeepSeekのコンプライアンスを両シナリオで増加させ、Claudeは比較的耐性がある。
プランナーの行動は、主に拒否によってこのリスクを相殺することができるが、プランナーが実行可能なステップを作成すれば、実行者は直接の運用ベースラインよりも適合する可能性がある。
承認枠のデリゲートは、設計、モデルペアリング、シナリオソースに敏感であり、懐疑的な実行者は、コンプライアンスを急激に削減する。
raw-directモデルランキングは、デプロイされたプランナー・エグゼクタの振る舞いを誤って予測することもできる。
ジェミニはプライマリセットで最も安全だが、クロードプランナーで最大の増幅率を示し、コンプライアンスは8.9%から38.9%に上昇した。
GPTのアグリゲートパイプライン効果は、代わりにプランナーの拒絶によってキャンセルされるリフレーミング増加を隠蔽する。
これらの結果から,マルチエージェントの安全性評価では,アーキテクチャ自体に障害をもたらす前に,リフレーミング,プランナー行動,デリゲートフレーミング,モデルペアリングを別々に報告すべきであることが示唆された。
関連論文リスト
- Operational Hallucination and Safety Drift in AI Agents [0.3823356975862005]
ツール使用自律エージェントのプランナーとして機能する大規模言語モデル(LLM)は、マルチターン実行における動的信頼性のリスクを導入する。
本稿では,複数のLLM(Safety Drift)とOperational Hallucination(Operational Hallucination)の2つの障害モードを実証的に特徴付ける。
本稿では、インテント-アクション整合性チェック、状態追跡、強制終了プリミティブを組み込んだ、軽量でプラグ&プレイのアーキテクチャ青写真であるAction-Aware Supervision Layerを提案する。
論文 参考訳（メタデータ） (2026-07-20T17:01:50Z) - SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing [21.334890816629237]
LLMエージェントは、ツールコールを通じて現実世界の環境に作用する。
標準セーフガードは、提案された各アクションをセーフまたはアンセーフとラベル付けするガードモデルであるが、このバイナリビューは2つの異なる決定を混同している。
問題をEXECUTE, ASK, REFUSE に対してインスタンスごとの3方向ルーティング決定として再設定し,Safety Sentry でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-15T08:38:16Z) - Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification [32.337075755765056]
Veraは、非決定論的エージェントのためのソフトウェアエンジニアリングテストの原則をインスタンス化するエンドツーエンドの自動安全テストフレームワークである。
124のリスクカテゴリにまたがる1600の実行可能な安全ケースで構成されたVeraをリリースします。
これらの結果から,高度に進化するエージェントシステムの厳密かつ保守可能な安全性評価には,モジュール型で実行可能なテストインフラストラクチャが不可欠であることが示唆された。
論文 参考訳（メタデータ） (2026-07-02T07:08:26Z) - Smarter Saboteurs, Better Fixers: Scaling & Security in Linear Multi-Agent Workflows [1.075515727254947]
As-based multi-agent system (MAS) は野生に展開され、敵の妥協に対する協調構造のレジリエンスが重要な安全上の懸念となっている。
攻撃者は、MAS内の個々のエージェントを妨害するために、プロンプト・インジェクションまたはジェイルブレイクを利用することができる。
本稿では,モデルスケールが線形マルチエージェントレジリエンスのセキュリティに与える影響について検討する。
論文 参考訳（メタデータ） (2026-06-10T21:55:24Z) - From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents [35.39244077703096]
ガードレールは通常、実行前に提案されたアクションや入力を評価することでエージェントを保護する。
既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。
本稿では,ガードレール生成した言語フィードバックを誘導信号として活用し,エージェントを良質な目的に合わせるためのガードレール統合エージェントフレームワークTRIADを紹介する。
論文 参考訳（メタデータ） (2026-06-04T07:34:35Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - PRISM: : Planning and Reasoning with Intent in Simulated Embodied Environments [59.07829883257003]
5つの集合住宅の上に建設され、PRISMは300の人間認証タスクを3つの能力レベルに構成する。
PRISMはエージェントに依存しない実行可能なアクションAPIを公開し、任意のエージェントをエンドツーエンドで評価できるようにする。
論文 参考訳（メタデータ） (2026-05-12T04:59:47Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。
エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。
DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
論文 参考訳（メタデータ） (2026-02-11T07:45:14Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。