論文の概要: Laya as a Typed Probabilistic Assessor: An Independent Reproduction and a Preregistered Study of Calibration and Selective Escalation
- arxiv url: http://arxiv.org/abs/2609.33843v1
- Date: Sun, 27 Sep 2026 18:53:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 16:20:38.092244
- Title: Laya as a Typed Probabilistic Assessor: An Independent Reproduction and a Preregistered Study of Calibration and Selective Escalation
- Title（参考訳）: タイプ付き確率的アセスメントとしてのラヤ : 独立再生と校正と選択的エスカレーションに関する予備登録研究
- Abstract要約: カードはリスクを過信とみなし、測定された方向は逆であり、その方向は、自信に満ちたカスケードのどちらが失敗するかを決定する。
1つの不整合温度は、誤校正の大部分を取り除き、出荷されたオプション単位のテーブルを上回っている。
E1の再現は解析凍結に先行し、E2-E8は前向きに事前登録され、22の検査のうち20の検査はBenjamini-Hochberg FDRの下で$q5$(2 descoped)で拒絶された。
- 参考スコア（独自算出の注目度）: 0.010480658740597679
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The shipped Laya Typed-Decisions checkpoint, a 421M-parameter ModernBERT-large assessor that answers typed choice/noul/score questions over workflow state, is uniformly under-confident. The signed confidence-accuracy gap is $-0.214$, every occupied reliability bin's accuracy exceeds its confidence, and that sign uniformity collapses every binned ECE variant to the same value, $0.214$. The card frames the risk as over-confidence; the measured direction is the opposite, and the direction decides which way a confidence-gated cascade fails. A single disjointly fitted temperature ($T=0.469$, sharpening) removes most of the miscalibration (held-out ECE $0.204$ to $0.037$) and outperforms the shipped per-option-count table. The frozen selection rule instead chose isotonic regression, which overfit and failed its held-out NLL contrast on both tracks, so hypothesis H2 is not supported. Re-running the released checkpoint on its full official test split reproduces the card's headline accuracy ($0.767$ vs. $0.766$). The retrospective E1 reproduction preceded the analysis freeze; E2-E8 were prospectively preregistered, and 20 of 22 executed confirmatory tests reject under Benjamini-Hochberg FDR at $q=0.05$ (two descoped). The frozen gate beats random escalation but misses its 10% accepted-set error target on both tracks, an exploratory out-of-distribution probe finds no zero-shot transfer (accuracy $0.617$), and every score measures agreement with a synthetic teacher whose self-agreement ceiling ($0.735$) the specialist exceeds. Per-decision predictions, run manifests, and the frozen preregistration are in the ancillary files. The author has no affiliation with the model's publisher, the dataset's publisher, or TypeSafe.
- Abstract（参考訳）: 出荷されたLaya Typed-Decisionsチェックポイントは、421MパラメータのModernBERT-largeアセスタで、ワークフロー状態に関する選択/ノール/スコアの質問に回答する。
署名された信頼と精度のギャップは$-0.214$であり、占有された信頼性ビンの精度はその信頼を超える。
カードはリスクを過信とみなし、測定された方向は逆であり、その方向は、自信に満ちたカスケードのどちらが失敗するかを決定する。
1つの不整合温度(T=0.469$、シャープニング)は、誤校正(ECE$0.204$から$0.037$)の大部分を取り除き、出荷されたオプション単位のテーブルを上回っている。
凍結された選択規則は代わりにイソトニック回帰を選択したが、これは両方のトラックでホールドアウトされたNLLコントラストをオーバーフィットし失敗したため、仮説H2はサポートされない。
正式テストスプリットでリリースされたチェックポイントの再実行は、そのカードの見出し精度(0.767$対0.766$)を再現する。
E1の再現は分析凍結に先行し、E2-E8は前向きに事前登録され、22の検査のうち20の検査はベンジャミン=ホックベルク FDR の下でq=0.05$ (2デスコープ)で拒絶された。
凍結ゲートはランダムなエスカレーションに打ち勝つが、両方のトラックで10%の許容誤差目標を逃し、探索的なアウト・オブ・ディストリビューション・プローブはゼロショット転送(精度0.617$)を発見せず、自己評価天井(0.735$)がスペシャリストを超える合成教師との全てのスコア測度が合意する。
差分予測、実行マニフェスト、凍結事前登録は、補助ファイルにある。
著者はモデルのパブリッシャ、データセットのパブリッシャ、TypeSafeと親和性はない。
関連論文リスト
- Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳（メタデータ） (2026-09-28T14:31:19Z) - Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。
近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。
我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
論文 参考訳（メタデータ） (2026-09-28T10:47:41Z) - The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
本研究は, ベットによる検査に基づく漏洩検出について検討する。
13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
論文 参考訳（メタデータ） (2026-09-27T14:14:10Z) - PRIMUS: Identity, Governance, and Verification for Multi-Agent Federations [0.0]
マルチエージェント・フェデレーションは、敵対的な条件下での3つの質問に答えるガバナンスを必要とする。
本稿では,BLSアグリゲートシグネチャと主パワーIDを結合したPRIMUSについて述べる。
PRIMAのバイナリアーティファクト-忠実性判定は、グレード付きフィットネス信号に変換できるかどうかを問う。
論文 参考訳（メタデータ） (2026-09-07T19:21:49Z) - Difference-in-Differences on a Censored Rating Scale Can Manufacture an Effect: Evidence from a Pre-Registered LLM-Judge Audit [15.81584544074437]
LLM審査員の聴取は、一致した条件を対比することでバイアスを認定する。
このエンドポイントは、報告するスケールでは特定されない。
我々は,そのメカニズムをクローズドな形で導き,その貢献が監査の自己評価から測定可能であることを示す。
論文 参考訳（メタデータ） (2026-08-27T16:10:16Z) - Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。
有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
論文 参考訳（メタデータ） (2026-08-26T11:36:31Z) - Selective Prediction and Uncertainty-Aware Referral for Pap Smear Classification [3.093890460224435]
本稿では,Herlev Papスミアデータセットの選択的予測と不確実性を考慮した参照について検討する。
ImageNet-pretrained weights with weighted random samples, and two light transformer backbones are fine-tuned on Herlev from ImageNet-pretrained weights with weighted random sample。
統計的に有意な差は認められなかった。
論文 参考訳（メタデータ） (2026-07-15T05:47:31Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。
我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
論文 参考訳（メタデータ） (2025-03-07T08:41:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。