論文の概要: When Tool Outputs Become Commands: Separating Action Induction from Runtime Authorization in Tool-Augmented LLM Agents
- arxiv url: http://arxiv.org/abs/2608.27146v1
- Date: Thu, 27 Aug 2026 13:59:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.435384
- Title: When Tool Outputs Become Commands: Separating Action Induction from Runtime Authorization in Tool-Augmented LLM Agents
- Title(参考訳): ツールアウトプットがコマンドになるとき: ツール拡張LDMエージェントにおける実行時認証からのアクションインジェクションの分離
- Abstract要約: 動作誘導と実行承認を異なるランタイムロールとして扱うSARAを提案する。
AgentDojoとAgentDynにまたがって、SARAは4つの主要な評価設定でASRを0.63%に制限している。
- 参考スコア(独自算出の注目度): 11.018574747618173
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tool-augmented LLM agents must rely on untrusted runtime Observations to complete open-ended tasks; however, when tool outputs no longer merely provide data but begin to specify concrete actions, they effectively become ``commands'' that can drive real-world side effects beyond user intent. We argue that this risk arises from conflating action induction with execution authorization. To address this distinction, we propose SARA, which treats action induction and execution authorization as distinct runtime roles and separates action provenance from execution authority. On the Observation side, a context-isolated Action Probe exposes action-inducing semantics and persistently records action-origin provenance across steps as a review signal; on the execution side, actual tool calls are authorized only against the user objective and audited evidence from authorized successful executions, while satisfying goal, execution-chain, and argument-level support. To preserve this separation across multi-step execution, SARA applies No-History-Promotion to prevent historical recurrence from laundering action origins into execution authority. Across AgentDojo and AgentDyn, SARA limits ASR to no more than \(0.63\%\) across four primary evaluation settings while maintaining competitive task utility, and consistently reduces ASR across additional Agent backbones.
- Abstract(参考訳): しかし、ツール出力が単にデータを提供するだけでなく、具体的なアクションを指定し始めると、それらは事実上「コマンド」となり、ユーザの意図を超えた現実世界の副作用を引き起こす。
このリスクは、動作誘導と実行許可を混同することによるものであると我々は主張する。
そこで本研究では,行動誘導と実行承認を異なるランタイムロールとして扱い,実行権限から行動証明を分離するSARAを提案する。
監視側では、コンテキストアイソレーションされたアクションプローブがアクション誘導セマンティクスを公開し、レビューシグナルとしてステップ全体でアクションオリジンを永続的に記録する。実行側では、実際のツールコールがユーザ目標に対してのみ認証され、承認された実行の証拠を監査すると同時に、目標、実行チェーン、引数レベルのサポートを満足する。
マルチステップ実行におけるこの分離を維持するため、SARAは、歴史的再発がランダリングアクションの起源を実行権限に含めるのを防ぐために、No-History-Promotionを適用している。
AgentDojoとAgentDyn全体で、SARAは4つの主要な評価設定でASRを(0.63\%\)以下に制限し、競合するタスクユーティリティを維持し、ASRをAgentバックボーンで一貫して削減する。
関連論文リスト
- ActGuard: Pre-execution Action Auditing against Indirect Prompt Injection in LLM Agents [11.495797074855703]
本稿では,事前実行動作監査フレームワークであるActGuardを提案する。
外部コンテンツが本質的に疑わしいかどうかを判断する代わりに、ActGuardは現在のアクションが合理的な期待から逸脱するかどうかを評価する。
検証者はその後、局所化された証拠を調べ、マスクは悪意のあるものとのみ確認され、衛生化された文脈からアクションを再生する。
論文 参考訳(メタデータ) (2026-09-14T03:47:05Z) - From Intent to Execution Grant: An Execution-Boundary Conformance Profile for High-Risk AI Actions [9.27474112226667]
EBL-Coreは、1つの標準的な、完全に実体化されたAI生成候補が、明示的な条件下でアクションスコープ実行権限を受け取ることができるかどうかを決定する。
拘束力、政策非監視、エビデンス処理、決定論的判断、検証、ライフサイクル行動の付与などである。
100回の試験で32回の同時再空輸試験が成功し、1回の試行で完全に1回成功し、テスト効果が保護された。
論文 参考訳(メタデータ) (2026-09-10T14:21:45Z) - From Event Logs to Governed Action: A BlueSky Agenda for Agentic Process Mining [72.81644384922838]
我々は、異種操作イベントデータを管理されたアクションに変換するプロセスマイニングアジェンダとして、イベント・ツー・アクション・プロセスマイニングを提案する。
イベントオブジェクト表現、アクションエビデンスパッケージ、ガバナンス契約、行動、延期、要求、拒否がすべて有効なアウトプットであるベンチマークの4つのアーティファクトが必要です。
論文 参考訳(メタデータ) (2026-09-07T21:02:23Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳(メタデータ) (2026-08-27T01:22:14Z) - AgentAbstain: Do LLM Agents Know When Not to Act? [19.223843408018997]
既存の評価は、エージェントがいつ禁じるべきかを知るのではなく、タスクの成功に焦点を当てている。
エージェント禁忌のための最初の体系的評価枠組みとして,ツールを用いたLDMエージェントの動作を検知するキャリブレーション能力について述べる。
AgentAbstainは、エージェントネイティブな分類に基づくペアタスクのベンチマークである。
論文 参考訳(メタデータ) (2026-07-11T00:57:36Z) - Context-to-Execution Integrity for LLM Agents [0.0]
Context-to-Execution Integrity (CXI)はこの設定の実行バウンダリシステムである。
我々は、オープンウェイトフィールドプロジェクションの実行、AgentDojoライブエピソード、コードエージェントの正確な効果ベンチマーク、マニフェストバウンドの台帳故障、プロポーザルプレッシャ制御、ホスト/API互換性トレースについてCXIを評価した。
論文 参考訳(メタデータ) (2026-07-07T08:38:50Z) - Cordon: Semantic Transactions for Tool-Using LLM Agents [11.567293065381918]
本稿では,コミット前にエージェント効果のステージングと検証を行うトランザクションランタイムシステムであるCordonを紹介する。
適度な承認とレイテンシのオーバーヘッドで、良質なタスク補完を保ちながら、不可逆的な効率の失敗を減らす。
論文 参考訳(メタデータ) (2026-06-16T06:21:14Z) - LogAct: Enabling Agentic Reliability via Shared Logs [1.3220949653718854]
我々はLogActと呼ばれる新しい抽象化を提案し、各エージェントは共有ログを再生するデコンストラクトステートマシンである。
LogActはエージェントのイントロスペクションを可能にし、エージェントはLSM推論を使用して自身の実行履歴を分析することができる。
評価では、LogActエージェントは、障害から効率的に正確に回復し、自身のパフォーマンスをデバッグし、Swarm内でトークンの使用を最適化します。
論文 参考訳(メタデータ) (2026-04-09T08:58:23Z) - AgentSentry: Mitigating Indirect Prompt Injection in LLM Agents via Temporal Causal Diagnostics and Context Purification [25.817251923574286]
大規模言語モデル(LLM)エージェントのための新しい推論時間検出・緩和フレームワークを提案する。
AgentSentryは、時間的因果的テイクオーバーとしてマルチターンIPIをモデル化する最初の推論時防御である。
我々は, textscAgentDojo ベンチマークにおいて, 4つのタスクスイート, 3つの IPI 攻撃ファミリー, 複数のブラックボックス LLM に対する AgentSentry の評価を行った。
論文 参考訳(メタデータ) (2026-02-26T07:59:10Z) - CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。
本稿では,選択防衛フレームワークCausalArmorを提案する。
AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
論文 参考訳(メタデータ) (2026-02-08T11:34:08Z) - ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。
LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。
次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
論文 参考訳(メタデータ) (2026-01-15T07:54:32Z) - Interact-RAG: Reason and Interact with the Corpus, Beyond Black-Box Retrieval [49.85856484781787]
本稿では,ILMエージェントを検索プロセスのアクティブマニピュレータに高める新しいパラダイムであるInteract-RAGを紹介する。
我々は、ゼロショット実行と相互作用軌跡の合成を可能にする推論強化ワークフローを開発する。
6つのベンチマーク実験により、Interact-RAGは他の高度な手法よりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2025-10-31T15:48:43Z) - SAND: Boosting LLM Agents with Self-Taught Action Deliberation [54.48979740613828]
大規模言語モデル(LLM)エージェントは、通常、ReActスタイルの専門家軌道の教師付き微調整や、ペアのロールアウトよりも好みの最適化で調整される。
本稿では,自己学習型アクチオN審議(SAND)フレームワークを提案する。
SANDは、初期教師付き微調整よりも平均20%改善し、また最先端のエージェントチューニングアプローチより優れている。
論文 参考訳(メタデータ) (2025-07-10T05:38:15Z) - Memory Injection Attacks on LLM Agents via Query-Only Interaction [49.14715983268449]
我々は,攻撃者がエージェントのメモリバンクを直接変更できると仮定することなく,新たなメモリインジェクション攻撃(MINJA)を提案する。
攻撃者は、クエリと出力観察を通してエージェントとのみ対話することで、悪意のあるレコードをメモリバンクに注入する。
MINJAは、任意のユーザがエージェントメモリに影響を与え、リスクを強調します。
論文 参考訳(メタデータ) (2025-03-05T17:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。