論文の概要: Agent Safety Should Be a Runtime Contract
- arxiv url: http://arxiv.org/abs/2608.11274v1
- Date: Tue, 11 Aug 2026 08:01:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.317478
- Title: Agent Safety Should Be a Runtime Contract
- Title（参考訳）: エージェントの安全性は実行時契約であるべきだ
- Abstract要約: エージェントの安全性は、ハーネスによって強制されるランタイム契約であるべきです。
予防顔は 危険な行動を妨害する
明らかな顔は 良い行動が実際に起こった証拠が必要です
- 参考スコア（独自算出の注目度）: 7.813225070853552
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The dominant paradigm treats AI safety as a property to be instilled during model training via RLHF, DPO, or Constitutional AI. We argue this is structurally insufficient for autonomous agents that execute code, mutate files, send messages, and modify databases. Agent safety should be a runtime contract enforced by the harness, and the contract has two complementary faces. The preventive face blocks dangerous actions before they happen via sandboxes, permission gates, output filters, and trajectory monitors. The evidential face requires verifiable proof that good actions actually happened, gating task submission on hard evidence such as test runs, log captures, file diffs, and citation grounding. We ground the position in four lines of public evidence, with row-level protocols and data released in the supplementary JSON files: a survey of 52 documented AI-agent and LLM safety incidents, a false-completion audit with 31 non-contested core cases plus one disputed illustrative case, a trajectory-schema audit of 12 public agent systems and harnesses, and a title-level audit of all 28,560 papers accepted at NeurIPS, ICML, and ICLR 2023-2025 showing a pooled 8-12x imbalance between training-time and deployment-time publication. Two prior communities that needed to enforce safety, computer security and the experimental sciences, converged on runtime contracts with both preventive and evidential elements; agentic AI is now under the same pressure. We formalize an Agent Trajectory Schema and Evidence Chain, state a compositional gating proposition based on standard monitor composition, and outline a research agenda. The right unit of safety in agentic AI is the trajectory-with-checkable-evidence, not the model.
- Abstract（参考訳）: 支配的なパラダイムは、AI安全性を、RLHF、DPO、あるいはコンスティチューショナルAIを通じたモデルトレーニング中に注入される特性として扱う。
これは、コードを実行し、ファイルを変更し、メッセージを送り、データベースを変更する自律エージェントにとって構造的に不十分である、と我々は主張する。
エージェントの安全性はハーネスによって強制されるランタイム契約でなければならない。
予防顔は、サンドボックス、パーミッションゲート、出力フィルタ、トラジェクトリモニターを介して発生する危険なアクションをブロックする。
明らかな顔は、優れたアクションが実際に発生したことの検証証明、テスト実行、ログキャプチャ、ファイル差分、引用グラウンドなどのハードエビデンスへのタスクの提出を必要とする。
52件のドキュメント化されたAIエージェントとLCMの安全インシデント、31件の非競合コアケースと1件の実証的ケースによる偽補完監査、12の公開エージェントシステムとハーネスのトラジェクティブスキーマ監査、NeurIPS、ICML、ICLR 2023-2025で受理された28,560の論文のタイトルレベル監査、トレーニング時間とデプロイメント時間の間のプール8～12倍の不均衡を示す。
安全、コンピュータセキュリティ、実験科学を強制するために必要な2つの以前のコミュニティは、予防的および明白な要素の両方でランタイム契約に収束した。
我々は,エージェント・トラジェクトリ・スキーマとエビデンス・チェーンを形式化し,標準モニター構成に基づく作曲ゲーティングの提案を述べるとともに,研究課題の概要を述べる。
エージェントAIの安全性の適切な単位は、モデルではなく、トラジェクトリ・ウィズ・チェック可能なエビデンスである。
関連論文リスト
- The Agent Incident Registry: Toward Preventing Repeated AI Agent Failures [0.0]
2022年から2026年にかけて公表されたエージェント関連事象の487件の記録を含むソースリンクカタログであるエージェントインシデントレジストリ(AIR)を提示する。
AIRは、失敗率や制御効率の推定ではなく、ソース・グラウンドのケース検索と評価・スコープ監査をサポートしている。
論文 参考訳（メタデータ） (2026-09-10T03:20:46Z) - A Black Box for Agentic Processes: Blockchain-Anchored Evidence for AI Agent Communication, Human Oversight, and GRC Audits [0.0]
2026年のOpenAI/Hugging Faceインシデントに触発されたこのポジションとアーキテクチャ論文は、エージェントプロセスのための製品とベンダー中立のブラックボックスアーキテクチャを提案する。
アーキテクチャは、選択されたエージェント通信、ヒューマン・イン・ザ・ループの承認、ツールコール、およびプロセスアーティファクトに対して、機密性の高いコンテンツをチェーン上に配置することなく、ブロックチェーンで暗号化されたコミットメントを生成する。
論文 参考訳（メタデータ） (2026-09-03T15:55:39Z) - Zero-Knowledge Predicate Proofs Between AI Agents: A Measured, Cross-Protocol Gateway and the Source-Integrity Gap [0.0]
マルチエージェントAIプラットフォームは、ステージングからプロダクションへ素早く移行するが、エージェントが信頼を確立する方法はまだ初歩的だ。
提案から実行システムまで,エージェント間での検証可能なデータ最小化を行う。
32ビットのしきい値述語は6.2msで証明され、608バイトのBulletproofs証明で1.0msで検証される。
論文 参考訳（メタデータ） (2026-08-30T23:16:17Z) - Distributing Security Controls Through Harness Engineering [0.0]
セキュリティとリスクの懸念は、組織間でエージェントAIをスケーリングする上で、依然として主要な障壁である。
本稿では,市販AI符号化エージェントに市販のセキュリティコントロールを実装することができるかどうかを検討する。
論文 参考訳（メタデータ） (2026-07-28T15:50:16Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - ToolAlignBench: Investigating Alignment Conflicts in Tool-Calling Enabled LLMs [11.599619860803472]
安全に整合したオープンソースモデルは、デプロイメントの指示を最大43.4%上回っていることが分かりました。
また,消音によって外耳吹の頻度が低下することが判明した。
これらの結果から,多元的アライメントにおける基本的な緊張感が明らかとなり,ユーザが保護する同じ安全トレーニングが,予測不能な責任リスクを生み出す方法で,エージェントの配置指示に対する行動を引き起こす可能性がある。
論文 参考訳（メタデータ） (2026-07-15T18:48:49Z) - The Balkanization of Execution-Security Research for AI Coding Agents: Isolation, Access Control, and Time-of-Check-to-Time-of-Use Vulnerabilities [0.0]
サンドボックスアイソレーション、機能とアクセス制御、ポリシー施行、TOCTOU(Time-of-check-to-time-of-use)レース、モデルコンテキストプロトコル(MCP)脅威、アイデンティティデリゲート、実行証明、ネットワークエクスプレス制御、エージェント生成コードの静的解析は独立して公開され、ほとんど引用されない。
我々は2023年から2026年にかけて発行された39の論文を17のカテゴリに分類し、それぞれがソースに対して直接検証した。
カテゴリをまたいで読むと、5つの横断的なギャップが表面化します。
論文 参考訳（メタデータ） (2026-07-07T01:56:18Z) - VASO: Formally Verifiable Self-Evolving Skills for Physical AI Agents [57.240036084348354]
本稿では,ロボットスキルコントラクトの検証誘導自己進化のためのフレームワークであるVASOを紹介する。
VASOは論理的に一貫性のないスキル契約を検証し、グローバルおよびローカルな時間的仕様に対してスキルによって誘発される計画を検証する。
Clearpath Jackal と PX4 のクアッドコプタータスクでは、VASO は100点未満の最適化サンプルを使用して97.2% の形式的な仕様準拠に達した。
論文 参考訳（メタデータ） (2026-06-03T20:02:35Z) - When the Agent Is the Adversary: Architectural Requirements for Agentic AI Containment After the April 2026 Frontier Model Escape [0.0]
本稿では,現在の封じ込めアプローチの4つのカテゴリについて分析する。
公開情報から5つの行動事象を分類し、698件の現実世界のAIスケジュールインシデントに分類する。
論文 参考訳（メタデータ） (2026-04-25T19:41:00Z) - Agents of Chaos [50.53354213047402]
実験室環境に展開する自律言語モデルを用いたエージェントの探索的再チームの研究を報告する。
20人のAI研究者が、良心的および敵対的な条件下でエージェントと対話した。
我々の発見は、現実的なデプロイメント設定におけるセキュリティ、プライバシ、ガバナンスに関連する脆弱性の存在を確立します。
論文 参考訳（メタデータ） (2026-02-23T16:28:48Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳（メタデータ） (2026-02-13T21:32:32Z) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。
我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
論文 参考訳（メタデータ） (2025-10-10T15:12:44Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳（メタデータ） (2025-07-28T05:13:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。