論文の概要: Available Guardrails: Certifying Selective Prediction across ML Systems
- arxiv url: http://arxiv.org/abs/2609.22048v1
- Date: Fri, 18 Sep 2026 17:36:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.225937
- Title: Available Guardrails: Certifying Selective Prediction across ML Systems
- Title（参考訳）: 利用可能なガードレール:MLシステムを越えた選択予測の認定
- Abstract要約: 安全, 粒度, サービストラフィックのトレードオフを明らかにする動的プログラムを開発する。
1つの計画上の候補分割を分割し、その中の1つを選択すると、このギャップの一部が回復することを示す。
相補的妥当性保存レバーは、報告ユニット間で家庭的にエラー予算を割り当て、追加のカバレッジを回復する。
- 参考スコア（独自算出の注目度）: 40.57629016626049
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A selective predictor acts as a safety gate: it returns an output only when the prediction appears sufficiently trustworthy. Deployments increasingly require this reliability to be certified at a target precision for every reporting unit of interest, such as a tool, policy label, or patient subgroup. The main difficulty is often not whether a granted certificate is valid, but whether finite calibration data can produce one at all. As the gate becomes safer or more fine-grained, some units may receive too little evidence to certify. We make this notion of availability computable through classical exact-binomial inversion and formulate reporting-partition selection, under a fixed group order, as a dynamic program that exposes the trade-off among safety, granularity, and served traffic. The resulting frontier reveals a large population opportunity that finite-sample estimation nearly erases: a truth-informed planner gains $0.157$ mean coverage over support balancing, whereas a naive estimator recovers only $0.005$, making recovery from finite data the central challenge. Constructing candidate partitions on one planning split and selecting among them on another recovers part of this gap, improving mean coverage over support balancing by $0.060$, with the direction reproduced in $59$ of $60$ model effects across three intent-routing datasets and two architectures. A complementary validity-preserving lever, reallocating the familywise error budget across reporting units, recovers additional coverage both with population quantities and noisy estimates. The same frontier recurs, with predictor-specific ceilings, across LLM tool-calling, content moderation, lesion classification, and recommendation. Certified availability is therefore a plannable deployment resource that determines when a safety gate can be certified, at what granularity, and over how much traffic.
- Abstract（参考訳）: 選択予測器は安全ゲートとして機能し、予測が十分に信頼できるように見える場合にのみ出力を返す。
デプロイでは、ツールやポリシーラベル、患者サブグループなど、関心のあるレポートユニット毎に、目標精度で認証されるように、この信頼性をますます必要としています。
主な困難は、許可された証明書が有効であるかどうかではなく、有限キャリブレーションデータが生成できるかどうかである。
ゲートがより安全になるか、よりきめ細かな粒度になるので、認証する証拠が少なすぎる場合もあります。
安全, 粒度, サービストラフィックのトレードオフを明らかにする動的プログラムとして, 固定群順序の下で, 古典的完全二項反転と公式報告分割選択により, この可用性を計算可能とする。
真理インフォームドプランナーはサポートバランシングよりも平均で0.157ドル、単純推定器は0.005ドルしか回復せず、有限データからのリカバリが中心的な課題である。
1つの計画分割で候補パーティションを構築し、その中の1つを選択すると、このギャップの一部が回復し、サポートバランシングに対する平均カバレッジが0.060ドル向上し、3つのインテントルーティングデータセットと2つのアーキテクチャで59ドル60ドルのモデルエフェクトが再現される。
相補的な妥当性保存レバーは、報告ユニット間で家庭的にエラー予算を割り当て、人口と騒音の推定の両方で追加のカバレッジを回復する。
同じフロンティアは、LSMツールコール、コンテンツモデレーション、病変分類、レコメンデーションを越えて、予測器固有の天井を持つ。
したがって、認証された可用性は、安全ゲートがいつ認定されるか、粒度、トラフィックの量を決定する計画可能なデプロイメントリソースである。
関連論文リスト
- A distribution-free certification framework for trustworthy crash-severity prediction [1.089614199781423]
厳密なモデルを修正せずにラップする認証層を開発します。
テキサス州の7つのベースモデルにまたがる520万件の記録では、同層は同一の妥当性を持つ。
フレームワークは定理レベルのテストを備えたオープンソースパッケージとしてリリースされている。
論文 参考訳（メタデータ） (2026-09-10T14:20:08Z) - Capacity Confounds and Coverage Guarantees in Adaptive Sub-model Federated Learning [5.586191108738563]
サブモデルフェデレーション学習により、リソース制約のあるクライアントは、グローバルモデルの幅制限されたバージョンをトレーニングできるが、既存のメソッドはデバイスリソース単独でキャパシティを割り当てる。
適応型キャパシティアロケーションフレームワークであるHAS-FLをテストケースとして使用して、このステップが可能かどうかを問う。
論文 参考訳（メタデータ） (2026-08-07T12:26:03Z) - How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。
因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。
本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
論文 参考訳（メタデータ） (2026-06-10T21:07:49Z) - Conformal Tradeoffs: Guarantees Beyond Coverage [0.02648566468224904]
配置されたコンフォーマル予測器は、有限操作ウィンドウ上で稼働する長期間の意思決定基盤である。
マージのカバレッジは、デプロイメントに直面する量を特定しません。
私たちは、範囲を超えて運用の認証と計画のためのフレームワークを提供しています。
論文 参考訳（メタデータ） (2026-02-20T07:58:25Z) - Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
条件付きカバレッジ推定が分類問題であることを示す。
得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。
ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
論文 参考訳（メタデータ） (2025-12-12T18:47:39Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳（メタデータ） (2025-12-01T11:27:09Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z) - Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。
私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。
敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
論文 参考訳（メタデータ） (2025-07-28T16:19:25Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。