論文の概要: RankCert: When Can Simulated Learners Safely Select an AI Tutor? Robust Decision Certification Under Structural Uncertainty
- arxiv url: http://arxiv.org/abs/2609.26069v1
- Date: Sun, 02 Aug 2026 03:53:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.855124
- Title: RankCert: When Can Simulated Learners Safely Select an AI Tutor? Robust Decision Certification Under Structural Uncertainty
- Title（参考訳）: RankCert: 学習者がAIチューターを安全に選択できるのはいつか? 構造的不確実性の下でのロバストな決定認定
- Abstract要約: RankCertは、モデル平均効用、確率ベスト、後悔、クロスドメインのランク、家族のカバレッジ、およびワン・ワン・ドメイン・アウトとワン・ワン・ヴィジブル・ファミリー・アウトの平均が同じ候補をサポートする場合にのみ、8つの平等予算の教育ポリシーの1つを認定する。
RankCertを、回転する5つのオラクルファミリー、1家族あたり64のシナリオ、4つのコホートサイズにまたがる1,280個の凍結保持状態において評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Simulation-based tutor selection can be unstable when predictively adequate learner models imply different policy rankings. RankCert certifies one of eight equal-budget tutoring policies only when model-averaged utility, probability-best, posterior regret, cross-domain rank, family coverage, and leave-one-domain-out and leave-one-visible-family-out averages support the same candidate; otherwise it abstains. We evaluated RankCert in 1,280 frozen held-out settings spanning five rotating held-out oracle families, 64 scenarios per family, and four cohort sizes. Calibration used a licensed, de-identified EdNet-KT1 derivative with 5,000 learners and 590,056 retained responses; all five family representatives passed the frozen adequacy gate. Minimum-domain mean pairwise top-1 agreement was 0.272917 (95% CI [0.253646, 0.293229]), showing substantial structural disagreement. Cohort-noise variance decreased from n = 30 to n = 300, while the structural family share remained nonzero. RankCert reduced total held-out decision loss relative to full-coverage point selection by 0.006605 normalized-outcome units (95% CI [0.004859, 0.008407]). At comparable coverage, however, it did not reduce selective risk relative to a confidence-gated point certificate (difference -0.000213; 95% CI [-0.003238, 0.002384]; Holm p = 0.929654). Certification occurred in 3.75% of settings and only in stable scenarios; RankCert abstained in every ambiguous, misspecified, and structural-conflict setting. "Safe" denotes only benchmark-scoped decision certification under the declared utility and uncertainty set; no human-learning, causal, deployment-effectiveness, or general-safety claim is made.
- Abstract（参考訳）: 予測的に適切な学習者モデルが異なるポリシーランキングを示す場合、シミュレーションベースのチューター選択は不安定である。
RankCertは、モデル平均効用、確率ベスト、後悔、クロスドメインのランク、家族のカバレッジ、およびワンドメインアウトとワン・ワン・ヴィジブル・ファミリーアウトの平均が同じ候補をサポートする場合のみ、8つの平等予算の教育ポリシーの1つを認定する。
RankCertを、回転する5つのオラクルファミリー、1家族あたり64のシナリオ、4つのコホートサイズにまたがる1,280個の凍結保持状態において評価した。
校正には、5,000人の学習者と590,056人の応答を持つEdNet-KT1デリバティブが使用されており、5人の家族代表は全員、凍結したアデカシーゲートを通過した。
最小ドメイン平均対トップ-1合意は0.272917(95% CI [0.253646, 0.293229])であり、構造的な相違が見られる。
コホートノイズの分散は n = 30 から n = 300 に減少し、構造的家族の共有は 0 に留まった。
RankCertはフルカバレッジポイント選択に対するホールアウト決定の総損失を0.006605正規化アウトカム単位(95% CI [0.004859, 0.008407])に削減した。
しかし、比較対象では、信頼が付与されたポイント証明書(差分-0.000213; 95% CI [-0.003238, 0.002384]; Holm p = 0.929654)と比較して選択的なリスクを減らさなかった。
認証は3.75%の設定で行われ、安定したシナリオでのみ行われた。
Safe"は、宣言されたユーティリティと不確実性セットの下で、ベンチマークで検査された決定認定のみを意味し、人間の学習、因果関係、デプロイメント効率、一般的な安全保証は行われない。
関連論文リスト
- Guaranteed Adaptive Modality Acquisition: When the Policy Chooses Its Own Calibration Group [0.0]
マルチモーダルシステムは、入力のいくつかのみを保持する推論を開始し、残りをコストで取得することができる。
パターン条件保証が有効であり続けると特徴付け、2つの有限サンプル構成を与える。
逆例は、カリブレーション非依存のグルーピングマップに対して証明された保証が、ポリシーが端末群キャリブレーションに依存した場合、転送する必要はないことを示している。
論文 参考訳（メタデータ） (2026-08-16T04:19:31Z) - Beyond Local Accuracy: A Protocol-Level Identifiability Audit for Controlled LLM Reasoning Evaluation [6.047519836191728]
有限行動ポリシークラス上でプロトコルレベルの識別可能性監査を形式化する。
監査はモデルコールをゼロにし、診断ケースを解決します。
このケースは、モデル推論の前に、どのように評価設計の妥当性を構造的に確認できるかを示す。
論文 参考訳（メタデータ） (2026-08-13T14:49:47Z) - WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。
アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。
凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
論文 参考訳（メタデータ） (2026-08-10T11:22:53Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - Valid Per-Field Selective Risk Control for Document Extraction: Three Failure Modes, a Validity Ladder, and When Conditioning Pays [0.0]
フィールド単位の受け入れ/レビューは、ほとんどのアルファ版において選択的なリスクを持つが、信頼契約文書抽出システムを必要とする。
13,859 個の CORD レシート (49.0% ) からの真の Claude-sonnet-5 フィールドでは、3 つの障害モードを診断する。
シードピンでレグレッション付きプロシージャを備えたApache-2.0がリリースされた。
論文 参考訳（メタデータ） (2026-07-28T17:08:50Z) - When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation [0.11280931253550518]
構造化世代 (NER, 抽出, QA, 分類) にデプロイされる大規模言語モデル (LLM) には、正式な信頼性保証がない。
我々は、共形リスク制御(CRC)が構造化LLM出力を証明でき、かつ、それが証明不可能な場合に特徴付ける。
論文 参考訳（メタデータ） (2026-06-27T19:25:07Z) - From CVE to CWE: Syscall-Based HIDS Generalisation [41.99844472131922]
運用環境では、ディフェンダーは既知の脆弱性の新たなエクスプロイトを認識する必要がある。
我々は,CWE(Common Weaknession)クラスを共有するCVEの正常な動作に基づいて訓練された一級異常検知器が,同一クラス内の別の未知のCVEに一般化するか否かを実証的に検証した。
論文 参考訳（メタデータ） (2026-06-21T16:34:39Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - When No Benchmark Exists: Validating Comparative LLM Safety Scoring Without Ground-Truth Labels [34.86529553336423]
多くのデプロイメントは、関連する言語、セクター、または規制体制のためにラベル付きベンチマークが存在する前に、安全のために候補言語モデルを比較する必要がある。
我々は、この設定をベンチマークレス比較安全スコアとして定式化し、シナリオベースの監査をデプロイ証拠として解釈できる契約を指定する。
スコアは固定されたシナリオパック、ルーリック、監査、審査、サンプリング設定、再実行予算でのみ有効である。
論文 参考訳（メタデータ） (2026-05-07T17:56:41Z) - When Rubrics Fail: Error Enumeration as Reward in Reference-Free RL Post-Training for Virtual Try-On [31.413458927376016]
参照不要な設定を埋めるために、Implicit Error Countingを提案する。
IECは、キャリブレーションされたルーリックに対して何が正しいかをチェックせずに、何が間違っているかを列挙します。
ネーブ明示列挙法は安定な最適化には難しすぎることを示す。
論文 参考訳（メタデータ） (2026-03-05T20:20:04Z) - SafeBench-Seq: A Homology-Clustered, CPU-Only Baseline for Protein Hazard Screening with Physicochemical/Composition Features and Cluster-Aware Confidence Intervals [26.81598226089532]
SafeBench-Seqはメタデータのみの再現可能なベンチマークと,すべて公開データから構築されたベースライン分類器である。
の脅威を近似するために、組み合わせたデータセットを40パーセントのIDでクラスタリングし、クラスタレベルのホールドアウトを実行します。
AUROC/AUPRCとスクリーニング操作点(TPR@1% FPR; FPR@95% TPR)の95%ブートストラップ信頼区間(n=200)を報告した。
我々は,ブライアスコア,期待誤差(ECE),15ビン,信頼性図を用いて,確率品質を定量化する。
論文 参考訳（メタデータ） (2025-12-19T12:51:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。