論文の概要: Trust Is Not a Score: Runtime Assurance Contracts for High-Risk AI Agents

• arxiv url: http://arxiv.org/abs/2609.39717v1
• Date: Wed, 30 Sep 2026 13:28:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.844793
• Title: Trust Is Not a Score: Runtime Assurance Contracts for High-Risk AI Agents
• Title（参考訳）: 信頼はスコアではない:ハイリスクAIエージェントのランタイム保証契約
• Abstract要約: 本稿では,ポリシーレベルの形式的スキーマバインディング境界,コンポーネントの適性,エビデンス状態,遷移ポリシ,ヒューマンレビュー能力,非補償ゲートを提案する。 調整された保証契約(RAC)の下では、ソフトメトリクスはルーティングを通知するが、失敗または未知の強制ゲートフォースはリトライ、スイッチ、エスカレーション、デフェラル、ストップを行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benchmarks, audits, and agent protocols describe performance, permissions, and repair, but not how observed evidence should change an agent's authority during a consequential task. We call this the assurance-transition gap. We propose a Runtime Assurance Contract (RAC), a policy-level formal schema binding autonomy boundaries, component eligibility, evidence state, transition policy, human-review capacity, and non-compensatory gates. Under RAC, soft metrics may inform routing, whereas a failed or unknown mandatory gate forces retry, switch, escalation, deferral, or stop; aggregate performance cannot authorize action. We define the contract, an evidence record, a permission rule, and five invariants, and illustrate them in clinical, industrial, and judicial failure probes. We then report a deterministic failure-injection study in agentic coding: 280 constructed cases evaluated by a gate conjunction, a score-only rule, and a restricted protocol baseline. At the published example weights and threshold, the score rule admits 80 of 100 block-required injections and all 40 review-required injections. Tuned in hindsight, it matches the conjunction on this corpus. For positive weights, a positive threshold, binary risk signals, zero-signal controls, and an injected case firing each signal alone, we show that exact agreement holds if and only if the threshold does not exceed the smallest weight. A separate set of 18 hand-authored traces checks version-pinned evidence and review transitions against simpler policy variants. In a further prospective synthetic holdout of 24 episodes, two blinded LLM judges assign identical labels to all 72 action attempts; RAC and a separately implemented full stateful baseline both match these labels. These studies test mechanisms on synthetic cases; they establish neither deployed safety nor cross-domain effectiveness.
• Abstract（参考訳）: ベンチマーク、監査、エージェントプロトコルは、パフォーマンス、許可、修復を記述しているが、観察された証拠は、連続したタスク中にエージェントの権限を変更するべきではない。 これを保証と移行のギャップと呼ぶ。 本稿では,ルールレベルの形式的スキーマバインディングの自律性境界,コンポーネントの適性,エビデンス状態,遷移ポリシ,ヒューマンレビュー能力,非補償ゲートを提案する。 RACの下では、ソフトメトリクスがルーティングを通知する一方で、失敗または未知の強制ゲートフォースの再試行、スイッチ、エスカレーション、デフェラル、停止を通知する。 契約書,エビデンス記録,許可規則,および5つの不変条件を定義し,臨床,産業,司法の失敗調査で説明する。 次に,エージェント符号化における決定論的欠陥注入研究を報告する。ゲート接続,スコア専用ルール,制限されたプロトコルベースラインによって評価された280のケース。 公表されたサンプル重量と閾値では、スコアルールはブロック要求注入100点中80点、レビュー要求注入40点が認められている。 後ろ向きに調整され、このコーパスの接続と一致する。 正の重み、正の閾値、二値リスク信号、ゼロ信号制御、各信号のみを発射する注入ケースについては、閾値が最小の重みを超えていない場合にのみ、正確な一致が成立することを示す。 手書きの18のトレースの別セットは、バージョンピンのエビデンスをチェックし、より単純なポリシーの亜種に対するレビューのトランジションを検査する。 更なる24エピソードの合成ホールトアウトでは、2人の盲目のLLM判事が同じラベルを72のアクションの全ての試みに割り当て、RACと別々に実装された完全なステートフルベースラインがこれらのラベルと一致する。 これらの研究は、デプロイされた安全性とクロスドメインの有効性を確立しない合成ケースのメカニズムをテストする。

関連論文リスト

• Why LLM Agents Collapse Without Oversight: The Enforcement Gap as the Mechanism Behind Emergence World Failures [19.162716475205308]
  リフレクションスタイルのエージェントで監査フラグをバインドすると、監査官を変更することなく、攻撃の成功率が大幅に低下する。 実行確率から検出確率を分離する$p_d$$$p_e$は、すべてのフレームワークでデフォルトで$p_e approx 0$を確立する。
  論文  参考訳（メタデータ） (2026-09-14T09:46:59Z)
• Zero-Knowledge Predicate Proofs Between AI Agents: A Measured, Cross-Protocol Gateway and the Source-Integrity Gap [0.0]
  マルチエージェントAIプラットフォームは、ステージングからプロダクションへ素早く移行するが、エージェントが信頼を確立する方法はまだ初歩的だ。 提案から実行システムまで,エージェント間での検証可能なデータ最小化を行う。 32ビットのしきい値述語は6.2msで証明され、608バイトのBulletproofs証明で1.0msで検証される。
  論文  参考訳（メタデータ） (2026-08-30T23:16:17Z)
• $Z^2$-ACT: End-to-End Verifiable Agentic Intent Control for Open 6G RAN [43.15181031994434]
  本稿では,ゼロ知識監査制御とゼロ信頼検証エージェントインテントアーキテクチャを提案する。 実大規模言語モデルは、オペレータの意図をIntent Contractsに変換するために、非リアルタイムパスで使用される。 その結果、動作フィルタリングと攻撃レジリエンスを適度なレイテンシとシグナリングコストで改善したことが示唆された。
  論文  参考訳（メタデータ） (2026-08-21T12:44:03Z)
• One Gate Is Not Enough: Composing Stateful Pre-Action Controls for Agentic AI [0.0]
  1つのコントロールが適用した修復は、他のコントロールが評価するアクション、エビデンス、コンテキストを変更し、そのコントロールの以前の判断を無効にすることができることを示す。 我々は、この結合を形式化し、現在の有界等質な設定において、アクションごとの音質を復元するremediate-and-regateプロトコルを提供する。 これは、生産の頻度に関する主張ではなく、合成メタデータ層によるオープンペイロードデータに対するメカニズム実証である。
  論文  参考訳（メタデータ） (2026-08-18T22:24:44Z)
• Explicit State Elicitation Is Not Enough: A Controlled Audit of Memory-Policy Classification [11.991995412984503]
  この設定を用いて、構造化中間出力の実証監査プロトコルを開発する。 480サンプルの合成開発セットは、当初は状態に構造化されたプロンプトバンドルから大きな利益が得られたことを示唆していた。 このセットでは、4つの状態定義を公開することで精度が向上するが、分離された明示的な状態出力フィールドはポリシーの精度を著しく改善しない。
  論文  参考訳（メタデータ） (2026-08-18T01:04:45Z)
• Evaluating and Guarding Citation Faithfulness in Agentic Scientific Synthesis [2.7092559671391]
  OpenScholarやPaperQA2のようなエージェントLLMシステムは科学論文を読み、引用された回答を返す。 どちらもそのチェックの信頼性を監査しません。 私たちはそれが信頼できないこと、そしてこれが重要であることを示します。 本報告では,ゴールドアンコール評価プロトコルとデプロイ可能なガードについて述べる。
  論文  参考訳（メタデータ） (2026-07-10T02:05:17Z)
• Semantic Quorum Assurance: Collective Certification for Non-Deterministic AI Infrastructure [2.124730017640531]
  非決定論的エージェント基盤を管理するためのコントロールプレーンプリミティブであるQuorum Semantic Assurance(SQA)を紹介する。 SQAは暗号エビデンスチェーンに縛られた宣言的実行契約として提案を表現し、それを読み取り専用でサンドボックス化されたバリデータエージェントのさまざまなパネルにルーティングする。 インフラにインスパイアされた500の突然変異シナリオでは、曖昧なシナリオを除く安全/安全でない試験の安全性が報告され、SQAはシングルエージェント検証の18.5%から0.3%まで安全でない承認を減じている。
  論文  参考訳（メタデータ） (2026-06-06T07:31:04Z)
• Beyond Accuracy: Policy Invariance as a Reliability Test for LLM Safety Judges [26.595399077062638]
  LLM-as-a-Judgeパイプラインは、エージェント安全性のデファクト評価器となっている。 既存のベンチマークでは、評定がエージェントの行動に依存するか、それとも単に評価方針がどう語られるかをチェックすることなく、その評定を根底からのプロキシとして扱う。 我々は、証明された等価な書き換えの下でのルーブリック・セマンティック不変性、意図的な厳密なシフトの下でのルーブリック・スレッショルド不変性、曖昧さを意識したキャリブレーションの3つの検証可能な原則として運用する。
  論文  参考訳（メタデータ） (2026-05-07T12:49:09Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。