論文の概要: Certified Execution Harness for Agentic AI: Safe and Least-Intrusive Petri-Net Supervisory Control Between Reasoning and Action
- arxiv url: http://arxiv.org/abs/2610.31376v1
- Date: Thu, 22 Oct 2026 14:48:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.413604
- Title: Certified Execution Harness for Agentic AI: Safe and Least-Intrusive Petri-Net Supervisory Control Between Reasoning and Action
- Title（参考訳）: エージェントAIのための認定実行ハーネス:推論と行動の間の安全と最小侵入型ペトリネットスーパーバイザ制御
- Abstract要約: 本研究では,大規模言語モデル (LLM) エージェントのプロンプトインジェクションにおける安全なツール実行の問題について検討する。
ペトリネットを用いて,LLMとそのツール間の実行ハーネスを監督制御問題として定式化する。
- 参考スコア（独自算出の注目度）: 18.782084090842638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the problem of safe tool execution for large language model (LLM) agents under prompt injection. Using Petri nets, we formalize the execution harness between the LLM and its tools as a supervisory control problem, in which marks represent capabilities, approvals and budgets. Since a transition fires only if the marks it needs are present, an injected request whose preconditions are unmet or already spent is refused regardless of its wording. Treating tool outcomes as uncontrollable, we enforce safety by the conventional maximally permissive supervisor, and this safety transfers to the running system under four assumptions. Moreover, to capture an agent that may propose again after a refusal, we introduce the notion of a replanning closed loop, in which each retry costs an inference call. We show that, in this loop, the conventional supervisor can be arbitrarily more intrusive than a stricter safe one. Furthermore, for a given proposer model, the maximally permissive least-intrusive supervisor is characterized as a value-threshold refinement of the conventional one. Under precise conditions, this refinement orders two concurrent actions by at most one monitor place. On an autonomous release agent, we find by synthesis that safe deployment requires a step that the supervisor can refuse after a rollout starts.
- Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) エージェントの即時注入における安全なツール実行の問題について検討する。
ペトリネットを用いてLCMとそのツール間の実行ハーネスを、機能、承認、予算を表す指標である監督制御問題として定式化する。
遷移は、必要となるマークが存在する場合にのみ発火するので、前処理が未使用または既に使用されていたインジェクト要求は、その文言にかかわらず拒否される。
ツールの結果を制御不能とみなし,従来の最大許容監督者による安全を強制し,この安全性は4つの前提の下で実行システムに伝達される。
さらに,再試行後に再度提案するエージェントを捕捉するために,各再試行が推論コールの費用を負担する閉ループ(replanning closed loop)の概念を導入する。
このループでは、従来のスーパーバイザーは厳格な安全なスーパーバイザーよりも任意に侵入可能であることを示す。
さらに、与えられた提案者モデルに対して、最大許容最小限の監督者は、従来手法の値閾値改善として特徴付けられる。
正確な条件下では、この改良は2つの同時動作を少なくとも1つの監視場所によって命令する。
自律的なリリースエージェントでは、安全なデプロイにはロールアウト開始後にスーパーバイザーが拒否できるステップが必要であることを合成によって確認する。
関連論文リスト
- AutoAgent0: An Agentic Runtime for Safe Closed-Loop Driving [61.924851163300076]
エージェントランタイムとハーネスフレームワークであるAutoAgent0を導入し、既存の運転専門家に補完的な検出スキル、ルールベースのアクション検証、フィードバック駆動リカバリを付加する。
長距離および安全クリティカルシナリオにおけるシングルエキスパート実行に対する閉ループロバスト性の向上を実証した。
論文 参考訳（メタデータ） (2026-10-13T17:59:50Z) - AgentBoundary: Counterfactual Evaluation of Safety in Tool-Using LLM Agents [13.557645845585776]
大規模な言語モデルの安全性の整合性は、要求に答えるか拒否するかに大きく取り組まれている。
エージェント的設定では、同じモデルが実行中にパーミッションクリティカルな証拠として振る舞うかどうかを判断しなければならない。
AgentBoundは、ツール使用エージェントの安全性のための、最初の4方向の対物生成・評価フレームワークである。
論文 参考訳（メタデータ） (2026-09-27T15:19:52Z) - The Vulnerability With No CVE: Managing Persistent Gaps Between Mandate and Authority in AI Coding Agents [0.0]
本稿では,タスク条件付き管理抽象化としてエージェント姿勢脆弱性(APV)を提案する。
APVは、既存の過度の緊急性、認可、制御-構成の弱点を運用する。
論文 参考訳（メタデータ） (2026-08-06T11:06:06Z) - Operational Hallucination and Safety Drift in AI Agents [0.3823356975862005]
ツール使用自律エージェントのプランナーとして機能する大規模言語モデル(LLM)は、マルチターン実行における動的信頼性のリスクを導入する。
本稿では,複数のLLM(Safety Drift)とOperational Hallucination(Operational Hallucination)の2つの障害モードを実証的に特徴付ける。
本稿では、インテント-アクション整合性チェック、状態追跡、強制終了プリミティブを組み込んだ、軽量でプラグ&プレイのアーキテクチャ青写真であるAction-Aware Supervision Layerを提案する。
論文 参考訳（メタデータ） (2026-07-20T17:01:50Z) - Operational Reframing and Approval-Framed Delegation in Multi-Agent LLM Safety [7.731517937404174]
安全評価は、直接のプロンプトとプランナー・エグゼクタパイプラインを比較し、その違いを単一の「パイプ効果」として報告することが多い。
有害な意図は、妥当な運用作業として再編成され、プランナーは要求を拒否または変換することができ、執行人は、事前の承認を示唆する委任状に従って行動することができる。
論文 参考訳（メタデータ） (2026-07-08T07:31:37Z) - AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。
既存の安全機構は主に外部ガードレールに依存している。
我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
論文 参考訳（メタデータ） (2026-06-21T21:13:55Z) - A New Framework for Cybersecurity Refusals in AI Agents [52.94784168139071]
攻撃的セキュリティの文脈において、拒絶境界を確立するための最初の枠組みを提示する。
本研究では,現在のLLMエージェントがWebベースの攻撃的セキュリティシナリオにおいて,適切な拒絶境界にどのように準拠しているかを評価するために,このフレームワークを適用した。
論文 参考訳（メタデータ） (2026-05-31T15:39:39Z) - Position: AI Safety Requires Effective Controllability [7.789894640525689]
我々は、AIの安全性は第一級の目的として制御性を必要とすると論じている。
OpenClawベースのエージェントによる実験では、現在のアライメントとガードレール機構がリスクを低減しているが、永続的で権威的で強制可能なランタイムコントロールの提供に失敗することが多い。
論文 参考訳（メタデータ） (2026-05-26T14:53:24Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。
我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
論文 参考訳（メタデータ） (2025-10-10T15:12:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。