論文の概要: agent-risk: Risk Assessment for Changes to AI Agents
- arxiv url: http://arxiv.org/abs/2610.16280v1
- Date: Mon, 12 Oct 2026 07:05:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.321764
- Title: agent-risk: Risk Assessment for Changes to AI Agents
- Title（参考訳）: エージェントリスク:AIエージェントの変更に対するリスクアセスメント
- Abstract要約: デプロイされたAIエージェントを変更する前に、組織は既存のログから変更を承認する必要がある。
正確な再生のために記録しなければならないログと、保存された状態がゲートファミリーに仕えていることを証明します。
ステップごとの損傷がないと、停止ゲートの認証されたハーネス天井は2.5倍に上昇する。
- 参考スコア（独自算出の注目度）: 8.846738863223054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Before changing a deployed AI agent (a stricter safety gate, a new model), organizations must approve the change, starting from existing logs. Extending classical risk analysis to partial records and partial changes to running systems, agent-risk replays logged episodes, assuming nothing else changes and the agent does not anticipate the change. The log settles episodes acting as before, a declared stop value settles stopped ones, and the rest need logged support, a saved-state rerun, or a bound. We prove what logs must record for exact replay and which saved states serve a gate family. For independent episodes, we bound the reruns a decision needs and tolerable drift from live behavior. In a bash sandbox, a 7,200-episode log alone decided neither of two retry gates, which let the agent act after refusals the log never shows. Rerunning only each gate's blocked episodes from saved states reached both live decisions at half the agent calls of a live test sized post hoc for them, given the log. Without per-step harm, a stopping gate's certified harm ceiling rose up to 2.5-fold, since the log hides whether harm preceded the stop. Approval thus needs evidence designed in advance: log fields, saved states, targeted reruns.
- Abstract（参考訳）: デプロイされたAIエージェント(より厳格な安全ゲート、新しいモデル)を変更する前に、組織は既存のログから変更を承認する必要があります。
古典的なリスク分析を部分的なレコードに拡張し、実行中のシステムに部分的な変更を加えることで、エージェントリスクはログ化されたエピソードを再生する。
ログは以前と同じように動作したエピソードを解決し、宣言された停止値が停止したエピソードを解決し、残りはログ付きサポート、保存状態の再実行、あるいはバウンドが必要になる。
正確な再生のために記録しなければならないログと、保存された状態がゲートファミリーに仕えていることを証明します。
独立したエピソードでは、リランは決定のニーズに縛られ、生きた行動から耐え難い漂流する。
バッシュサンドボックスでは、7,200エポソードのログだけで2つのリトライゲートのどちらにも決定できない。
保存状態からブロックされた各ゲートのエピソードだけをリランすると、ログから見て、ライブテストサイズのポストホックのエージェントコールの半分で、両方のライブ決定に達した。
ステップごとの損傷がないと、停止ゲートの認証されたハーネス天井は2.5倍に上昇する。
したがって、承認には事前に設計された証拠が必要である。
関連論文リスト
- ASPIRE: Agentic Safety & Prompt Injection Red-teaming Engine [51.17686708121503]
LLMエージェントは信頼できないコンテンツを検索し、ツールを通して行動し、間接的なインジェクションリスクを発生させる。
我々は,オープンな行動レベルの脆弱性発見のためのエージェントセーフティ&プロンプトインジェクション・レッドチームエンジンであるASPIREを紹介する。
論文 参考訳（メタデータ） (2026-10-06T18:18:40Z) - The Troy Moment of AI: Why Some Will Cheat and Some Will Follow? [0.0]
エージェントは停止するか、エスカレートするか、他のエージェントの行動が決定を変えるか、という2つの質問を調査する。
GPT-5.6 Sol, Claude Fable 5.1, Gemini 3.8 Flashの7つのImpossibleBenchタスクを単独で3エージェント設定で検討した。
この結果から,ルールの保護を目的としたあいまいさ,明示的な認証境界のモチベーション,認証状態の証明,エージェント間監視から境界交差が生じる可能性が示唆された。
論文 参考訳（メタデータ） (2026-09-14T12:46:45Z) - Guarded Commits: Transactional Human Approvals for LLM Workflows [3.6938026057206437]
LLMは、しばしば不可逆な外部アクションの前に人間の承認を必要とする。
ほとんどのシステムは、インターフェースクリックや監査エントリとして、ワークフローの外でその承認を維持します。
ワークフロー状態に人間の承認を組み込むガード付きコミット設計を提案する。
論文 参考訳（メタデータ） (2026-09-02T20:49:13Z) - VERA: Authority-Preserving Edge Revocation for Federated AI-Agent Workflows [3.06815294082031]
我々は,エージェントランタイムアダプタが発行する検証可能なリコール契約とAPIであるVERA(Verifiable Edge Revocation for Agents)を署名された証拠として紹介する。
解法的権威の下で、エッジ e の無効化は T_intent(e,G) = reach(G) reach(G e) を正確に無効にする。
LangGraphフレームワーク-repltセルでは、20回繰り返し500コンパイルされたフレームのトレースと2000の有効な署名されたデリゲート決定が生成される。
論文 参考訳（メタデータ） (2026-08-30T23:39:26Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - Your Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems [60.79651380135334]
長寿命のAIエージェントは、永続的な運用システムとしてますますデプロイされる。
エージェントはデプロイ後、いつまで信頼できるのか?
エージェントライフスパンエンジニアリングのための縦型信頼性ベンチマークであるAgingBenchを紹介する。
論文 参考訳（メタデータ） (2026-05-25T19:55:12Z) - Visual Confused Deputy: Exploiting and Defending Perception Failures in Computer-Using Agents [9.457255218406333]
コンピュータ利用エージェント(CUA)はグラフィカルユーザインタフェースに直接作用するが、画面に対する認識は信頼できないことが多い。
我々は、エージェントが誤認識された画面状態に基づいてアクションを認可する障害モードである視覚的混乱副産物を形式化する。
この脅威を軽減するため,エージェントの知覚ループ外で動作する最初のガードレールを提案する。
論文 参考訳（メタデータ） (2026-03-16T01:31:32Z) - AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management [47.49917373646469]
既存の防御は肥大した記憶を与えられたまま扱い、回復力を維持することに集中する。
我々は、明示的なメモリ管理を通じて間接的なインジェクションを防御するフレームワークであるAgentSysを紹介する。
論文 参考訳（メタデータ） (2026-02-07T06:28:51Z) - GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
安全ガード要求を満たすか否かを動的に確認し,目標エージェントを保護する最初のガードレールエージェントであるガードアジェントを提案する。
特にGuardAgentは、まず安全ガードの要求を分析してタスクプランを生成し、それからその計画をガードレールコードにマップして実行します。
GuardAgentは、それぞれ98%と83%のガードレール精度を持つ2つのベンチマークにおいて、異なる種類のエージェントに対する違反行為を効果的に抑制することを示した。
論文 参考訳（メタデータ） (2024-06-13T14:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。