論文の概要: ConformalGuard: False-Positive-Controlled Action Gating for LM Classifiers
- arxiv url: http://arxiv.org/abs/2610.14365v1
- Date: Fri, 09 Oct 2026 22:39:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 21:58:49.478418
- Title: ConformalGuard: False-Positive-Controlled Action Gating for LM Classifiers
- Title（参考訳）: ConformalGuard: LM分類器のための偽陽性型アクションゲーティング
- Abstract要約: ConformalGuardは、正規入力が介入層をトリガーする速度を有限サンプル制御で固定スコア関数をラップする。
我々は,これらの手法を,公衆メールコーパスにおける細調整BERT,Claude Sonnet 4,GPT-4oの共形校正法と比較した。
- 参考スコア（独自算出の注目度）: 1.182797073319109
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language model classifiers are increasingly deployed for high-stakes decisions such as phishing screening, content moderation, and fraud triage, yet validation-set thresholds provide no finite-sample control of deployment-time false positives. We present ConformalGuard, a model-agnostic calibration layer that wraps a fixed scoring function with finite-sample control over the rate at which legitimate inputs trigger an intervention tier. Our contribution is empirical and operational, not a new conformal theorem: zero-shot LM API scores can be coarse enough (10--11 unique values here) to make temperature scaling and isotonic regression operationally identical to raw thresholding for low-FPR action gating. We compare these methods with conformal calibration for fine-tuned BERT, Claude Sonnet 4, and GPT-4o on public email corpora. For Claude, conformal calibration reduces FPR from 0.040 to 0.008 while recall falls from 0.938 to 0.875. For deterministic GPT-4o scores, the 1% operating point is too conservative to deploy (recall 0.564); three-run stochastic averaging raises recall to 0.732 at FPR 0.005. At 2% prevalence with BERT, conformal calibration removes 25 false-positive reviews per 10,000 emails (95% CI [10, 43]). The guarantee is legitimate-event-rate control under exchangeability; discrimination, workload effects, and robustness to shift remain empirical.
- Abstract（参考訳）: 言語モデル分類器は、フィッシングスクリーニング、コンテンツモデレーション、不正トリアージなどの高い評価のためにますますデプロイされているが、検証セットの閾値は、デプロイ時の偽陽性の有限サンプル制御を提供しない。
本稿では,モデルに依存しないキャリブレーション層であるConformalGuardについて述べる。
ゼロショットLM APIスコアは十分に粗い(ここでは10-11のユニークな値)ので、温度スケーリングや等調回帰を低FPR動作ゲーティングの生しきい値とオペレーショナルに同一にすることができる。
我々は,これらの手法を,公衆メールコーパスにおける細調整BERT,Claude Sonnet 4,GPT-4oの共形校正法と比較した。
クロードの場合、共形キャリブレーションによりFPRは0.040から0.008に減少し、リコールは0.938から0.875に低下する。
決定論的 GPT-4o スコアでは、1% の操作点がデプロイするには保守的すぎる(0.564 をリコール)。
BERTでは2%の頻度で、コンフォメーションキャリブレーションは1万通当たり25の偽陽性レビュー(95%CI[10,43])を除去する。
この保証は、交換可能性の下での正当値制御であり、差別、ワークロード効果、そして変化に対する堅牢性は実証的のままである。
関連論文リスト
- Calibration-Preserving Pruning: Compression as a Reliability Contract [6.908972852063454]
プルーニング規則ではなく、分割された共形予測は、プルーニングモデルが固定されると有限サンプルの限界カバレッジを提供する。
プルーニングは、より小さな有効な予測セットを得るのに十分なスコア幾何学を保てるか?
CPP-SparseGPTは15個のデータセット・スパーシティセルにまたがって13個のデータセットを生成し,11。
論文 参考訳（メタデータ） (2026-08-24T18:31:01Z) - Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。
その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。
次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-07-28T10:59:04Z) - Calibrated Trust, Not Sharper Prediction: An Empirical Test of Uncertainty Fusion [0.0]
法的AIにおける繰り返しの提案は、ケースアウトの予測を改善することである。
実際に1000件の欧州人権裁判所でテストしています。
論文 参考訳（メタデータ） (2026-07-11T09:58:09Z) - From CVE to CWE: Syscall-Based HIDS Generalisation [41.99844472131922]
運用環境では、ディフェンダーは既知の脆弱性の新たなエクスプロイトを認識する必要がある。
我々は,CWE(Common Weaknession)クラスを共有するCVEの正常な動作に基づいて訓練された一級異常検知器が,同一クラス内の別の未知のCVEに一般化するか否かを実証的に検証した。
論文 参考訳（メタデータ） (2026-06-21T16:34:39Z) - Sequential Consensus for Multi-Agent LLM Debates: A Wald-SPRT compute governor with calibration-based failure detection [0.0]
マルチエージェントの議論は事実と推論を改善するが、ほとんどのレシピは固定されたラウンドカウントを選択する。
我々は,LLM討論のプラグイン計算として,Wald's Sequential Probability Ratio Test (SPRT)を適用した。
GSM8Kでは、ルールは1.01ラウンド(4.06 LLMコール)で97.0%の精度で終了するが、15回のコールで固定5の討論では99.0%の精度で終了する。
MMLUでは、キャリブレーションされたKLは約0に崩壊し、ルール上限は2.1倍のコストで99.5%となる。
論文 参考訳（メタデータ） (2026-05-18T23:43:12Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B [0.0]
インストラクトチューニングされた小さなLLMは、最小の誘引の下で変性した言語的信頼を生み出す。
自信条件付き教師付き微調整と自己整合性に基づく目標が内部情報と音声読取のギャップを埋めるかどうかを検証した。
論文 参考訳（メタデータ） (2026-04-27T05:53:26Z) - The Verification Tax: Fundamental Limits of AI Auditing in the Rare-Error Regime [0.0]
最も引用されているキャリブレーションの結果は、CIFAR-100上での温度スケーリング後のECEの0.012は、統計的ノイズフロアより下である。
モデル誤差率のエプシロンによるキャリブレーション誤差を推定するミニマックスレートは Theta((Lepsilon/m)2/3) であり、推定器が打ち負かせない。
論文 参考訳（メタデータ） (2026-04-14T16:48:24Z) - Confidence Calibration under Ambiguous Ground Truth [43.71398545904091]
多数発声ラベルに装着したポストホックキャリブレータは、従来の評価ではよく校正される。
しかし、それらが根底にあるアノテータ分布に対してかなり誤解されている。
我々は,完全ラベル分布に対して適切なスコアリングルールを最適化する,あいまいさを意識したポストホックキャリブレータのファミリーを開発する。
論文 参考訳（メタデータ） (2026-03-24T07:24:09Z) - Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning [32.32593439144886]
振舞い校正された強化学習により、小さなモデルは不確実な定量化においてフロンティアモデルを超えることができる。
当社のモデルでは,GPT-5の0.207を超える精度向上率(0.806)を挑戦的なドメイン内評価において達成している。
論文 参考訳（メタデータ） (2025-12-22T22:51:48Z) - Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。
我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
論文 参考訳（メタデータ） (2025-03-07T08:41:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。