論文の概要: Soteria: Formally Verified Planning with Runtime Enforcement for Safe LLM Agents
- arxiv url: http://arxiv.org/abs/2611.17880v1
- Date: Fri, 13 Nov 2026 08:14:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.334851
- Title: Soteria: Formally Verified Planning with Runtime Enforcement for Safe LLM Agents
- Title(参考訳): Soteria: 安全なLLMエージェントのランタイム強化による形式的検証計画
- Abstract要約: 本稿では,仕様の階層的計画と実行時の実施を通じて,安全性と実用性を両立するフレームワークであるSoteriaを紹介する。
Soteriaは、ポリシー仕様に違反することなく、最高のベースラインの平均タスク成功率の1.7倍を達成する。
- 参考スコア(独自算出の注目度): 2.8382282285875653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents that execute multi-step tool calls must satisfy two objectives simultaneously: completing the user's task (utility) and conforming to domain policies and correctness constraints (safety). These objectives are in tension -- blocking an unsafe action prevents a violation but can leave the agent stranded with no principled way to recover. Existing approaches sacrifice one objective for the other. We introduce Soteria, a framework that reconciles safety and utility through verified hierarchical planning and runtime enforcement of specifications. Before execution, the agent generates a structured plan that is formally verified against the specifications prior to any tool invocation. During execution, the verified plan serves dual roles: it ensures that the agent takes specification-conformant trajectories and provides guidance when unsafe actions are blocked. Across multiple benchmarks covering a diverse range of tool-use tasks, Soteria achieves 1.7 times the average task success rate of the best baselines, with no violations of policy specifications, demonstrating that safety and utility need not be traded off.
- Abstract(参考訳): マルチステップのツールコールを実行するLLMエージェントは、ユーザのタスク(ユーティリティ)を完了し、ドメインポリシーと正当性制約(セーフティ)に準拠した2つの目標を同時に満たさなければならない。
これらの目的は緊張状態にあり、安全でない行為をブロックすることは違反を防ぐが、回復するための原則化された方法がなければエージェントは立ち往生する可能性がある。
既存のアプローチは、もう1つの目標を犠牲にします。
本稿では,仕様の階層的計画と実行時の実施を通じて,安全性と実用性を両立するフレームワークであるSoteriaを紹介する。
実行前に、エージェントは、任意のツール呼び出しの前に仕様に対して正式に検証された構造化されたプランを生成する。
実行中、検証されたプランは二重の役割を果たす: エージェントが仕様に適合した軌道を取ることを保証し、安全でないアクションがブロックされたときにガイダンスを提供する。
多様なツール使用タスクをカバーする複数のベンチマークで、Soteriaは最高のベースラインの平均タスク成功率の1.7倍を達成し、ポリシー仕様に違反することなく、安全とユーティリティをトレードオフする必要はないことを実証している。
関連論文リスト
- VEPA: Verified Evolving Formal Policy for Lifelong LLM Agent Guardrails [70.49913007464922]
本稿では,正式なエージェントガードレールの進化を実証するためのフレームワークであるVEPAを紹介する。
VEPAは、タイプされたエージェントイベントに対する実行可能なシンボル規則の正式なポリシーとしてガードレールを表現している。
VEPAは決定論的形式政治の実施範囲を広げつつ、基準線を一貫して上回っている。
論文 参考訳(メタデータ) (2026-10-08T23:49:50Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳(メタデータ) (2026-08-27T01:22:14Z) - OSGuard: A Benchmark for Safety in Computer-Use Agents [12.395093977641581]
OSGuard(OSGuard)は、コンピュータ使用エージェントの安全性を評価するベンチマークスイートである。
OSGuardには、ローカルガードレール決定のためのアクションレベルベンチマークと、エンドツーエンド評価のためのリスク強化実行スイートが含まれている。
論文 参考訳(メタデータ) (2026-06-13T00:32:24Z) - Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment [0.0]
安全な操作を共同で構成する3つの次元:意味的意図とポリシーの遵守、環境の妥当性、動的実現可能性。
コミュニティは、各安全次元が独立して認定されたレイヤによって強制される、コントラクトベースのアーキテクチャで対応する必要があります。
このようなアーキテクチャをスケッチし、確率の連鎖則によって認められる構成系レベルの安全性境界を導出する。
論文 参考訳(メタデータ) (2026-05-18T17:13:41Z) - Securing LLM Agents Need Intent-to-Execution Integrity [49.490963596514185]
我々は, LLMエージェントの確保には, エージェントの実行がユーザの意図を忠実に反映した場合に規定するエンドツーエンドの正当性を定義する必要があると主張している。
LLMエージェントはコンパイラと構造的に類似しており、セキュリティ違反はユーザ意図を保存しない誤った実行に対応する。
emphTool整合性、emph命令整合性、emphJudgment整合性、emphData整合性。
論文 参考訳(メタデータ) (2026-05-16T12:53:31Z) - Auditing Agent Harness Safety [81.22315979618612]
LLMエージェントは、ツールをディスパッチし、リソースを割り当て、特別なコンポーネント間でメッセージをルーティングする実行ハーネスの中でますます動作します。
ほとんどの安全ベンチマークは最終出力または終端状態のみをスコアするが、多くの違反は終端ではなく、軌道の途中で発生する。
HarnessAuditは、境界コンプライアンス、実行の忠実さ、システムの安定性など、完全な実行軌跡を監査するフレームワークである。
論文 参考訳(メタデータ) (2026-05-14T02:14:28Z) - PlanGuard: Defending Agents against Indirect Prompt Injection via Planning-based Consistency Verification [1.7904458681854372]
PlanGuardは、コンテキスト分離の原則に基づいた、トレーニング不要の防御フレームワークである。
PlanGuardは攻撃を効果的に中和し、アタック成功率(ASR)を72.8%から0%に下げる。
論文 参考訳(メタデータ) (2026-04-11T09:59:46Z) - When Convenience Becomes Risk: A Semantic View of Under-Specification in Host-Acting Agents [21.157505782385773]
ホストアクションエージェントは、ユーザが目標を指定し、システムがそれを実現する方法を決定する、便利なインタラクションモデルを約束する。
この利便性は、ゴール仕様におけるセマンティック・アンダー・セマンティクスという、異なるセキュリティ問題をもたらす、と我々は主張する。
本稿では, セマンティック・脅威モデル, セマンティック・リスク・コンプリート・パターンの分類を提示し, その現象をOpenClawを中心としたケーススタディと実行トレース分析を用いて研究する。
論文 参考訳(メタデータ) (2026-03-22T13:42:21Z) - RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。
しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。
提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
論文 参考訳(メタデータ) (2025-12-24T15:01:26Z) - VeriGuard: Enhancing LLM Agent Safety via Verified Code Generation [40.594947933580464]
医療などのセンシティブなドメインに自律的なAIエージェントを配置することは、安全性、セキュリティ、プライバシに重大なリスクをもたらす。
LLMをベースとしたエージェントに対して、正式な安全保証を提供する新しいフレームワークであるVeriGuardを紹介する。
論文 参考訳(メタデータ) (2025-10-03T04:11:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。