論文の概要: What Can Be Enforced? A Theory of Certified Runtime Safety for Tool-Using Agents

• arxiv url: http://arxiv.org/abs/2607.22868v1
• Date: Fri, 24 Jul 2026 19:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.915075
• Title: What Can Be Enforced? A Theory of Certified Runtime Safety for Tool-Using Agents
• Title（参考訳）: 強制できるものは何か? 工具使用エージェントの認証実行安全性の理論
• Abstract要約: ガードレールは不可逆のツールコールの前に動作しますが、その保証は、どのポリシー状態が表現可能であるかによって異なります。 ピアソン表現攻撃はマージンを増すので、良性校正だけでは移動しない。 実験は静的診断、制御モデル列挙、表現書き直し、ペア化された閉ループ再実行を通じてこれらの区別を目標とする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Runtime guardrails act before irreversible tool calls, but their guarantees depend on what policy state is representable, what a judge observes, and whether intervention changes future behavior. We separate three questions. First, relative to fixed oracle predicates, a deterministic gate enforces exactly the nonempty safety policies whose good prefixes its register model recognizes; policy nontriviality is undecidable with two decrementable counters but in PSPACE for a separable monotone fragment. Second, under a fixed exogenous law, Neyman-Pearson gives the exact false-block/miss frontier and conformal calibration gives a finite-sample marginal certificate, possibly via block-all. Third, once blocking changes future proposals, static scores and ungated trajectories need not identify the closed-loop frontier; a specified finite controlled model instead yields an occupancy program. Bounded representation attacks add a robustness margin, so benign calibration alone does not transfer. Experiments target these distinctions through static diagnostics, controlled-model enumeration, representation rewrites, and paired closed-loop reruns.
• Abstract（参考訳）: 実行時ガードレールは、不可逆的なツールコールの前に動作しますが、その保証は、どのポリシー状態が表現可能か、裁判官が観察するもの、介入が将来の振る舞いを変えるかどうかによって異なります。 私たちは3つの質問を分けます。 第一に、固定されたオラクル述語に対して、決定論的ゲートは、そのレジスターモデルに良い接頭辞が認識される空でない安全ポリシーを正確に強制する;ポリシー非自明性は2つの分解可能なカウンタでは決定できないが、分離可能なモノトン断片に対してはPSPACEでは決定できない。 第二に、固定された外生法の下で、ネイマン=ピアソンは、正確な偽ブロック/ミスフロンティアを与え、共形校正は、おそらくブロックオールを通じて有限サンプルの限界証明書を与える。 第三に、一旦ブロックされると、将来の提案、静的スコア、アンゲートされたトラジェクトリはクローズドループフロンティアを識別する必要がなく、代わりに指定された有限制御モデルが占有プログラムを生成する。 境界表現攻撃はロバスト性マージンを増すので、良性校正だけでは移動しない。 実験は静的診断、制御モデル列挙、表現書き直し、ペア化された閉ループ再実行を通じてこれらの区別を目標とする。

関連論文リスト

• Semantic Fibers and Cross-Gram Interference: A Calculus of Safety Drift in Overcomplete Representations [0.0]
  デプロイされた言語モデルは、英語の有害な要求を拒否するが、その忠実な翻訳に従う。 我々はこの現象を監査同値関係で定式化する。 定式化された商、表現、メートル法、特徴辞書、スコアリングヘッド、しきい値、コントラストモデルに対して、得られた安全ドリフトは正確な線形代数的特徴を持つことを示す。
  論文  参考訳（メタデータ） (2026-09-14T00:23:32Z)
• Certifying Plans under Model Mismatch: A Trilemma for Reachability from Scarce Data [5.455772242709494]
  シモン・トゥ・リアル・ポリシーは、名目力学の下で設計されているが、ターゲット・システム・トライアルは、わずかに孤立した1段階の遷移をもたらす。 本研究では,学習ポリシによって生成されるアクションチャンクなど,固定制御シーケンスの事前実行認証について検討する。
  論文  参考訳（メタデータ） (2026-08-03T16:28:26Z)
• When Can Safe Controllers Adapt? Information before Commitment [26.556002437630426]
  本研究では,学習経路自体の安全保証の下で,安全な適応制御について検討する。 パフォーマンスは、実際のモデルを知っている安全なオラクルに対して測定されます。 我々は,特殊事例の回復を証明し,決定論的線形ガウス系に対する半定値上の証明を導出する。
  論文  参考訳（メタデータ） (2026-07-18T17:30:41Z)
• Falsifiable Release Gates for Self-Improving Systems [0.0]
  本稿では,フェール可能なリリースゲートと,そのようなシステムの構築と検証方法について述べる。 すべての新機能は、出荷前に、指定されたマシン検証可能な受け入れスイートをパスしなければならない。 コントロールリングによってマイニングされる安全クリティカルなプロパティ機能トークンのないエフェクターには、アクションは発生しない。
  論文  参考訳（メタデータ） (2026-07-11T06:06:34Z)
• Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance [48.34904668359272]
  大規模言語モデルに対するアドリアック攻撃は、広範な研究にもかかわらず、実用的影響が限られている。 本稿では,Greedy Coordinate Diffusion(GCD)について紹介する。 GCDは、敵の本来の意図に低い難易度と高い意味的固執を維持している。
  論文  参考訳（メタデータ） (2026-06-14T01:18:53Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• Governing What You Cannot Observe: Adaptive Runtime Governance for Autonomous AI Agents [0.0]
  自律的なAIエージェントは、完全に認証されたままで、振る舞いのドリフト、敵の適応、決定パターンのシフトによって、コードの変更なしに、安全が保たれる。 エージェントの管理は、未観測のリスクに対する限界を見積もることを減らす。 textbfRiskGateはこのフレームワークを、専用の統計推定器(KL分散、セグメント-vs-rest $z$-tests、シーケンシャルパターンマッチング)、フェイルセーフなモノトニックパイプライン、クローズドループオートパイロットでインスタンス化する。
  論文  参考訳（メタデータ） (2026-04-27T16:46:15Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Conformal Policy Control [50.46542384484142]
  我々は、安全な参照ポリシーを、最適化されているが未試験のポリシーの確率的規制として使う方法を示す。 保守的な最適化方法とは異なり、ユーザーが正しいモデルクラスを識別したとは仮定しない。 自然言語質問応答から生体分子工学まで,本研究の応用実験は,デプロイ開始当初から安全な探索が可能であることを示唆している。
  論文  参考訳（メタデータ） (2026-03-02T18:54:36Z)
• Conformal Tradeoffs: Guarantees Beyond Coverage [0.02648566468224904]
  配置されたコンフォーマル予測器は、有限操作ウィンドウ上で稼働する長期間の意思決定基盤である。 マージのカバレッジは、デプロイメントに直面する量を特定しません。 私たちは、範囲を超えて運用の認証と計画のためのフレームワークを提供しています。
  論文  参考訳（メタデータ） (2026-02-20T07:58:25Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
  我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。 私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。 敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
  論文  参考訳（メタデータ） (2025-07-28T16:19:25Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。