論文の概要: Stop Shipping AI Agents on Faith: Capability Is Not Production Readiness
- arxiv url: http://arxiv.org/abs/2607.27677v1
- Date: Thu, 30 Jul 2026 04:44:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.397707
- Title: Stop Shipping AI Agents on Faith: Capability Is Not Production Readiness
- Title（参考訳）: AIエージェントを偽装するのをやめる:能力は生産準備が整っていない
- Abstract要約: 本稿では,AIエージェントのガバナンス準備度指標であるProofAgent Index(PAI)を紹介する。
PAIは、評価、コンテキスト、コンプライアンス、ガバナンスの4つの側面を組み合わせたデプロイメントエビデンスです。
監査可能なAIエージェント評価とガバナンスのためのオープンソースのインフラストラクチャであるProofAgent Harness内に実装されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents are moving into production workflows where they retrieve information, call tools, maintain state, and act on behalf of users or organizations, but many release decisions still rely on capability signals, demos, or behavioral tests that do not show whether an agent is ready to operate under production constraints. Capability is therefore not production readiness. This paper introduces the ProofAgent Index (PAI), a governance readiness index for AI agents. PAI combines four dimensions of deployment evidence: Evaluation, Context, Compliance, and Governance. Evaluation measures observed behavior, Context measures the operating environment that shapes that behavior, Compliance measures alignment with applicable rules and controls, and Governance measures whether the organization can authorize, monitor, audit, and control the agent during operation. PAI is implemented inside ProofAgent Harness, an open source infrastructure for auditable AI agent evaluation and governance. Validation across two heavily regulated domains, healthcare and finance, shows that PAI carries held out readiness signal and separates higher risk from lower risk configurations. The results show that context engineering strongly changes reliability, capability improves behavior but does not determine readiness, and governance evidence must remain visible rather than averaged away. PAI reframes agent release from a faith based deployment decision into an auditable readiness decision.
- Abstract（参考訳）: AIエージェントは、情報を取得し、ツールを呼び、状態を維持し、ユーザや組織に代わって行動するプロダクションワークフローに移行しているが、多くのリリース決定は、エージェントが本番環境で運用する準備ができているかどうかを示す機能信号、デモ、行動テストに依存している。
したがって、能力は生産の準備ができていない。
本稿では,AIエージェントのガバナンス準備度指標であるProofAgent Index(PAI)を紹介する。
PAIは、評価、コンテキスト、コンプライアンス、ガバナンスの4つの側面を組み合わせたデプロイメントエビデンスです。
観察された行動の評価、その行動を形成する運用環境の計測、適用可能なルールとコントロールに沿ったコンプライアンスの計測、組織が操作中のエージェントを認可、監視、監査、制御できるかどうかのガバナンスの計測。
PAIは、監査可能なAIエージェント評価とガバナンスのためのオープンソースのインフラストラクチャであるProofAgent Harness内に実装されている。
医療と金融の2分野にわたる検証は、PAIが準備の整った信号を実行し、リスクの低い設定から高いリスクを分離していることを示している。
その結果、コンテキストエンジニアリングは信頼性を強く変え、能力は振舞いを改善するが、準備性は決定せず、ガバナンスのエビデンスを平均化するのではなく、目に見えるままでいなければならないことが示された。
PAIは、信仰に基づくデプロイメント決定から監査可能な準備決定へのエージェントリリースを再構成する。
関連論文リスト
- AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation [48.55515767840701]
AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。
本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
論文 参考訳（メタデータ） (2026-08-26T11:48:38Z) - Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳（メタデータ） (2026-07-28T17:50:44Z) - Toward Continuous Assurance for the Democratization of AI Agent Creation in Industry [1.5755923640031846]
本稿では、民主化されたAIエージェント作成による信頼性の課題を特定する。
市民が作成した組織エージェントのための軽量な継続的保証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-23T16:41:56Z) - CAGE-1: Control, Assurance, and Governance Evaluation for Enterprise Agentic AI [0.0]
本稿ではCAGE-1: Control, Assurance, and Governance Evaluation for Enterprise Agentic AIを紹介する。
CAGE-1は、エンタープライズエージェントがデプロイの準備が整っているかどうかを決定するための評価フレームワークである。
論文 参考訳（メタデータ） (2026-07-03T17:37:10Z) - Agent Behavior Mining: Generative AI Agent Governance in Business Processes [0.5570192369031546]
EmphAgent Behavior Miningは、生成するAIエージェントの意思決定を監視可能でトレース可能なガバナンス機能です。
プロセスマネージャがエージェントログを利用してポリシーの逸脱を検出し、運用変数を定量化する方法を実証する。
論文 参考訳（メタデータ） (2026-06-12T09:55:00Z) - The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。
評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。
メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
論文 参考訳（メタデータ） (2026-06-03T04:58:17Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - AgentGuardian: Learning Access Control Policies to Govern AI Agent Behavior [20.817336331051752]
AgentGuardianは、コンテキスト対応アクセス制御ポリシーを強制することによって、AIエージェントの操作を統制し、保護する。
正常なエージェント機能を保持しながら、悪意のある入力や誤解を招く入力を効果的に検出する。
論文 参考訳（メタデータ） (2026-01-15T14:33:36Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳（メタデータ） (2026-01-12T21:31:38Z) - AgentGuard: Runtime Verification of AI Agents [1.14219428942199]
AgentGuardは、エージェントAIシステムの実行時検証のためのフレームワークである。
動的確率保証(Dynamic Probabilistic Assurance)と呼ばれる新しいパラダイムを通じて、継続的な量的保証を提供する。
論文 参考訳（メタデータ） (2025-09-28T13:08:50Z) - Do LLMs trust AI regulation? Emerging behaviour of game-theoretic LLM agents [61.132523071109354]
本稿では、異なる規制シナリオ下での戦略選択をモデル化する、AI開発者、規制当局、ユーザ間の相互作用について検討する。
我々の研究は、純粋なゲーム理論エージェントよりも「悲観的」な姿勢を採用する傾向にある戦略的AIエージェントの出現する振る舞いを特定する。
論文 参考訳（メタデータ） (2025-04-11T15:41:21Z) - How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。
SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
論文 参考訳（メタデータ） (2023-12-28T16:51:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。