論文の概要: StepCOPS: Closed-Testing Lower-Tail Certificates for Language-Model Policy Selection

• arxiv url: http://arxiv.org/abs/2609.29549v1
• Date: Wed, 26 Aug 2026 02:30:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.072508
• Title: StepCOPS: Closed-Testing Lower-Tail Certificates for Language-Model Policy Selection
• Title（参考訳）: StepCOPS: 言語モデルポリシー選択のためのローテイル証明書のクローズドテスト
• Abstract要約: 提案手法は,各候補者に1つの下尾フロアを指名する独立提案法,新認証スプリットの正確な二項試験法,およびHolmのステップダウン手順を用いて,一組のフロアを認証する。 少なくとも1-$の確率で、政策選択に使用される最大のフロアを含む全ての認定フロアは、候補者の人口より低い$-quantileよりも低い。
• 参考スコア（独自算出の注目度）: 6.908972852063454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training pipelines must select one language-model policy from many checkpoints, prompts, and decoding rules. Mean evaluator scores can conceal rare failures, whereas simultaneous candidate-wise confidence bounds can be unnecessarily conservative. We introduce StepCOPS, which uses an independent proposal split to nominate one lower-tail floor per candidate, exact binomial tests on a fresh certification split, and Holm's step-down procedure to certify a set of floors. With probability at least $1-δ$, every certified floor, including the largest floor used for policy selection, is below its candidate's population lower $α$-quantile. This guarantee assumes i.i.d. evaluation units while allowing arbitrary within-unit dependence across candidates. Across 24 predeclared configurations and 11 benchmarks, StepCOPS obtains 96.4% selected-policy coverage over 500 paired trials, raises the certified floor by 1.5 points over both proposal-Bonferroni and exact COPS, remains 0.6 points below the large-reference jury oracle, and abstains in 2.4% of trials. Shadow-judge, benchmark-native, artifact, and leave-one-judge-out audits characterize the proxy boundary: the guarantee applies to the fixed jury score, not directly to human safety.
• Abstract（参考訳）: 後トレーニングパイプラインは多くのチェックポイント、プロンプト、デコードルールから1つの言語モデルポリシーを選択する必要がある。 平均評価器のスコアは稀な失敗を隠蔽しうるが、同時に候補の信頼性境界は必然的に保守的である。 提案手法は,各候補者に1つの下尾フロアを指名する独立提案法,新認証スプリットの正確な二項試験法,およびHolmのステップダウン手順を用いて,一組のフロアを認定する。 少なくとも1-δ$の確率で、政策選択に使用される最大のフロアを含む全ての認定フロアは、候補者の人口より低いα$-quantileである。 この保証は、すなわち評価単位を仮定し、候補間の任意の単位内依存を許容する。 24の事前宣言された設定と11のベンチマークで、StepCOPSは、500回の試行で96.4%の選ばれた政治カバレッジを獲得し、提案と正確なCOPSを1.5ポイント上回る認定フロアを上昇させ、大審理のオラクルより0.6ポイント低くし、2.4%のトライアルで失効する。 シャドウ・ジャッジ、ベンチマークネイティブ、アーティファクト、レフト・ワン・ジャッジアウトの監査は、プロキシ境界を特徴付けている。

関連論文リスト

• Certifying Model Upgrades with Slice-Wise Non-Regression and Incumbent Fallback [2.8716825293247665]
  本研究では,非回帰寛容性を考慮したチェックポイント選択について検討した。 提案手法では,候補探索を独立したペア評価から分離する再現可能なリリース手順を提案する。 共同リリース決定は、スライス数のボンフェロニのペナルティを必要としないが、スライス数によって認定能力は低下する可能性がある。
  論文  参考訳（メタデータ） (2026-09-12T05:00:50Z)
• Counterfactual Bias Testing for Application Tracking System [1.007765066765576]
  本稿では,タスク特化LDMエージェントを用いて,アイデンティティニュートラルベース履歴を合成し,人口統計学的治療を注入する。 それは、微調整された文埋め込みモデルとコサイン類似性を通じて、ジョブ記述に対する候補をランク付けする。 カウンターファクトアル(スコアデルタ、平均絶対ランク変更、フリップレート)、グループフェアネス(トップK保持、4/5/インパクト比)、メリットアウェア(リコール@K、nDCG@K、平等機会、等化オッズ)にまたがる9メトリックフェアネススイートを計算する。
  論文  参考訳（メタデータ） (2026-08-27T10:01:36Z)
• Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias [0.0]
  実際に判断の検証は、偶然を正さず、系統的に差別能力を過度に過大評価する、正確な一致の合意に依存している。 MT-Bench, judgeBench, RewardBenchの9つのプロバイダから21人の審査員が, 118ラン以上の3つのプロトコル(アグリメント, 一貫性, バイアス監査)と約541,000の個人判定で評価された。
  論文  参考訳（メタデータ） (2026-06-17T19:37:13Z)
• Conformal Candidate Certification for Offline Model-Based Optimization [0.6599344783327052]
  我々は,emphConformal Candidate Certification (CCC)を提案する。 我々は、各候補者に一方的な下限を付け、その境界が目標を超えるものだけを前進させる。 CCCは、公称0.90で0.990のアグレッシブ・プロポーザル・プールを16.7%で認証し、コシフトを無視する標準のコンフォーマル予測は0.416のカバレッジに崩壊する。
  論文  参考訳（メタデータ） (2026-06-13T09:29:18Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving [0.0]
  言語モデルの安全性評価は、サービス構成を固定されたバックグラウンドインフラストラクチャとして扱うことが多い。 我々は4つのアーティファクト支援研究をペアテストプロトコルに合成する。 標準vLLMは、現在のスコアフリップ候補に対して22/55ラベルのフリップを再生し、VLLM_BATCH_INIANT=1を有効にすることで、同じテストを0/55フリップに削減する。
  論文  参考訳（メタデータ） (2026-05-26T23:22:55Z)
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
  ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。 決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。 NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T18:52:01Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)
• Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement [49.15348173246146]
  人間の合意を厳格に保証したLCMに基づく評価を提供するための原則的アプローチを提案する。 まず、信頼度評価手法は、ペア評価にモデル選好を不クリティカルに頼ってはならないことを提案する。 そして、この選択的な評価枠組みの下で、人的合意が確実に保証されることを示す。
  論文  参考訳（メタデータ） (2024-07-25T20:04:59Z)
• Certified Error Control of Candidate Set Pruning for Two-Stage Relevance Ranking [57.42241521034744]
  本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。 提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
  論文  参考訳（メタデータ） (2022-05-19T16:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。