論文の概要: LeakBench: Auditing Reward Hacking through Prediction-Time Leakage in Clinical Modeling Agents
- arxiv url: http://arxiv.org/abs/2610.26088v1
- Date: Mon, 19 Oct 2026 09:50:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:31:00.306407
- Title: LeakBench: Auditing Reward Hacking through Prediction-Time Leakage in Clinical Modeling Agents
- Title（参考訳）: LeakBench: 臨床モデリングエージェントにおける予測時間漏洩によるリワードハックの監査
- Abstract要約: LeakBenchは、予測時間漏洩、キャリブレーション、サイトレベルの評価、サポートの認識、決定に制約のあるネット利益のためのエージェント決定をテストする監査スイートである。
LeakBenchは、信頼できる臨床予測を、ただのスコアではなく、エージェントのモデリングプロセスの特性として扱う。
- 参考スコア（独自算出の注目度）: 10.203903033167629
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous clinical-modeling agents can optimize predictive performance while violating conditions that make a model usable. We introduce LeakBench, an executable, guideline-derived audit suite that tests agent decisions for prediction-time leakage, calibration, site-level evaluation, support awareness, and decision-curve net benefit. LeakBench combines a synthetic task with known failure structure and two real-data settings: MIMIC-IV (430k admissions) and governed multi-hospital inpatient record front-page (MHFP) data. Our primary analysis uses reward hacking descriptively, without attributing intent: an agent selects prediction-time-invalid inputs because they improve its validation reward. A deterministic optimizer and every evaluated unconstrained local-model configuration select a fatal leaking feature. In fully logged September 2026 A/B runs, DeepSeek Flash and GPT-6-astra each leak in 10/10 unconstrained runs and 0/10 runs with an explicit admission-time constraint. This contrast is version-sensitive: a blinded Claude/Fable-5.1 chat run does not leak in either condition, while explicit-constraint violations appear only in a historical August 2026 slice lacking raw trajectories. Replacing AUROC with AUPRC does not remove leakage selection. Renaming or disguising the leaking inputs changes neither selection nor provenance-based detection; a name-based filter fails. A deterministic provenance verifier-in-loop removes the leak, making the LLM repair loop defense-in-depth. Specific verifier feedback clears fatal leakage in a hosted agent, and a three-seed ablation finds principle-only feedback clears decision-level defects, though these mitigation results are limited. LeakBench treats trustworthy clinical prediction as a property of an agent's modeling process, not merely its score; it is an audit testbed with known-failure controls, not yet an expert-validated benchmark.
- Abstract（参考訳）: 自律的な臨床モデリングエージェントは、モデルを使用可能にする条件に違反しながら予測性能を最適化することができる。
LeakBenchは,予測時間漏洩,校正,サイトレベルの評価,サポート意識,決定曲線ネットのメリットに関するエージェント決定をテストする,実行可能なガイドラインに基づく監査スイートである。
LeakBenchは、合成タスクと既知の障害構造、MIMIC-IV(430kの入院)とMHFP(MHFP)の2つの実データ設定を組み合わせる。
エージェントは、検証報酬を改善するため、予測時非有意な入力を選択する。
決定論的オプティマイザと評価されていない各ローカルモデル構成は、致命的なリーク機能を選択する。
2026年9月 A/B の完全ログでは、DeepSeek Flash と GPT-6-astra の各リークは、10/10 の制限のない実行と 0/10 の明示的な入場時間制限で実行される。
ブラインドされたClaude/Fable-5.1チャットランはどちらの条件でも漏れないが、明示的な制約違反は2026年8月の歴史的スライスにのみ現れる。
AUPRCでAUROCをリプレースしても、リークの選択は削除されない。
リークする入力をリネームまたは無効にすると、選択や前駆者に基づく検出は変更されず、名前ベースのフィルタは失敗する。
決定論的証明検証器は、漏れを除去し、LLM補修ループのディフェンス・イン・ループを奥行きにする。
特定の検証者フィードバックはホストエージェントの致命的なリークをクリアし、3列のアブレーションは原則のみのフィードバックは決定レベルの欠陥をクリアするが、これらの緩和結果は限定的である。
LeakBenchは、信頼できる臨床予測を、ただのスコアではなく、エージェントのモデリングプロセスの特性として扱う。
関連論文リスト
- When Normalization Selects the Sign: Auditing Robustness Ablations in Quantum Attention [0.17499351967216337]
生成した電力グリッド軌道上の4量子量子アテンション検出器の問題点を実証する。
学習したスケーリングモジュールは、固定された物理的攻撃予算で有用であるように見えるが、エンコーダの摂動の上限値に一致すると順序が逆になる。
実践的な教訓は、どの摂動予算が固定されているかを特定すること、ラベルと介入が予測を保存することをチェックすること、探索的制御と確認的証拠を区別することである。
論文 参考訳（メタデータ） (2026-10-02T00:57:53Z) - FRAUDSkill: Structured Frozen-Weight Skill Optimization for Audio Anti-Fraud Detection [51.835490676337564]
大規模な音声言語モデルは、音声を直接処理し、詐欺関連の証拠を推論することで、反詐欺検出の可能性を示してきた。
既存の微調整とプロンプトベースのアプローチは、通常、タスクの知識、制約、決定ルールをモデルパラメータや手動で保守されたプロンプトにエンコードする。
本稿では,FRAUDSkillを提案する。FRAUDSkillは,プログラムの外部レイヤ,ルート固有のポリシー,決定ルールを最適化しながら,基礎となる音声モデルに変化を持たせる構造的フリーウェイト適応フレームワークである。
論文 参考訳（メタデータ） (2026-09-16T14:51:37Z) - Lottery Tickets Are Not Deployment Tickets [4.230349220081444]
我々は、下流決定論理を再構成することなく、精度に適合した宝くじ券または他のスパースチャレンジャーが、既存の高密度モデルを置き換えることができるかどうかを検討する。
実験全体を通して、スパース候補は繰り返し密度参照精度を回復するが、行動学的に異なるままである。
固定閾値ポリシー診断を備えた小さなギャップ設定では、宝くじの交換は受け入れレビュー決定の7%から10%に変化する。
論文 参考訳（メタデータ） (2026-07-29T15:25:19Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - A prior-free blind detection of information leakage from model predictions [0.0]
本稿では,リーク診断が予測リスク/アウトカム則の関数となる決定論的枠組みを提案する。
正当モデルの校正と識別に適合する校正されたリークは、予測の空白関数により、正直な性能と区別できない。
ほぼ決定論的部分群は、非決定論的結果の正当な予測者が製造できない持続的単位純度ヘッドを生成する。
論文 参考訳（メタデータ） (2026-06-09T05:13:03Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。
このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
論文 参考訳（メタデータ） (2026-04-30T19:33:58Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳（メタデータ） (2026-04-11T10:47:22Z) - Beyond Completion: Probing Cumulative State Tracking to Predict LLM Agent Performance [9.771590610969918]
WMF-AM(Working Memory Fidelity-Active Manipulation)を紹介する。
その結果,20種類のオープンウェイトモデル (0.5B-35B, 13ファミリー) で10タスク・エージェント・バッテリを発売した。
論文 参考訳（メタデータ） (2026-03-28T17:25:11Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。