論文の概要: Recalibrating a Typed-Decision Model in an Afternoon: A Hands-On Recipe for Laya's Confidence Scores
- arxiv url: http://arxiv.org/abs/2611.16499v1
- Date: Thu, 12 Nov 2026 09:02:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.407545
- Title: Recalibrating a Typed-Decision Model in an Afternoon: A Hands-On Recipe for Laya's Confidence Scores
- Title(参考訳): アフターヌーンにおけるタイプ決定モデルの再検討:ラヤの信頼度スコアのハンズオン
- Abstract要約: このチュートリアルでは、標準メソッドで130行のnumpyで5段階のレシピ(測定、診断、適合、検証、デプロイ)を提供する。
リトレーニングチェックポイントは、バケット当たりのテーブルを格納せず、格納された12オプション値0.1006は、実行時に0.5にクランプされる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A typed-decision model such as Laya reads a text and a list of options that the caller defines, for example ticket categories, and returns a probability for each option. Code around it compares the top probability with a threshold to answer, abstain or escalate to a person. Earlier work reports, for a Turkish model, that temperature scaling can raise held-out calibration error (ECE). This tutorial gives a five-step recipe (measure, diagnose, fit, validate, deploy) in 130 lines of numpy with standard methods, none new. On 1,065 synthetic, LLM-labelled items the released Laya checkpoint has a pooled ECE of 0.073 but a bucket-macro ECE of 0.143 (0.127-0.184), the mean over buckets (questions grouped by type and option count): the 12-option bucket is over-confident by +0.22, the three-to-five-option bucket under-confident by 0.05, and they cancel. One global temperature makes pooled ECE worse (0.173); a cross-fitted temperature per bucket brings macro-ECE to 0.073 (0.078 over 10 fold assignments) and reaches 0.089 with 10 labelled items per bucket, but holding out one of seven evaluation sets gives 0.099. After the refit, a gate aimed at 10% error answers 46.3% of items (10.5% wrong) against 6.9% on the published confidences, but one cut-off per bucket on the published confidences answers 45.4%, so most of the gain comes from separating buckets. Confidence-only maps (Platt, histogram, isotonic) need 20 or more labelled items per bucket to approach the temperature; with 320 per bucket the lowest macro-ECE belongs to Platt. In these files the retrained checkpoints store no per-bucket table and the stored 12-option value 0.1006 is clamped to 0.5 at runtime; the refit helps 31 of 33 checkpoints on random folds and 21 with a set held out. Fit and test share one generator and LLM labels, so these are findings about these checkpoints and this data.
- Abstract(参考訳): Layaのような型決定モデルは、呼び出し側が定義したテキストとオプションのリストを読み取って、チケットカテゴリを例に挙げ、各オプションの確率を返す。
その周りのコードは、最上位の確率と、答え、棄権、エスカレートするしきい値を比較します。
以前の研究報告では、トルコのモデルでは、温度のスケーリングはキャリブレーションエラー(ECE)を引き起こす可能性がある。
このチュートリアルでは、標準メソッドで130行のnumpyで5段階のレシピ(測定、診断、適合、検証、デプロイ)を提供する。
1,065の合成・LLMのチェックポイントには、プールされたECEが0.073であるが、バケツマクロECEが0.143(0.127-0.184)、バケット上の平均値が0.127-0.184)、12オプションバケットが+0.22、0.05で3対5のバケットが過信され、キャンセルされる。
1つのグローバル温度は、プールECEを悪化させる(0.173)。1バケットあたりのクロスフィット温度は、マクロECEを0.073 (0.078 over 10 fold assignments)にし、1バケットあたり10個のラベル付きアイテムで0.089に達するが、7つの評価セットのうちの1つを保持すると0.099となる。
改定後、10%の誤差を目標とするゲートは6.9%に対して46.3%のアイテム(10.5%の誤り)を6.9%としたが、発行された信頼度では1バケット当たりのカットオフが45.4%であり、ほとんどの利得はバケツを分離することに由来する。
信頼のみの地図(プラット、ヒストグラム、イソトニック)では、バケットごとに20以上のラベル付けされたアイテムが温度に近づく。
これらのファイルでは、リトレーニングされたチェックポイントは、バケット当たりのテーブルを格納せず、格納された12オプション値0.1006は、実行時に0.5にクランプされる。
フィットとテストは1つのジェネレータとLSMラベルを共有するので、これらのチェックポイントとそのデータに関する発見である。
関連論文リスト
- One Model, Two Precisions: Does Disagreement Between Quantized Copies Tell You When a Small Model Is Wrong? [0.0]
局所言語モデルはいくつかの精度で存在し、量子化は個々の答えを変えることが知られている。
我々はQwen3-0.6B および Qwen3-1.7B 上で、グループ単位のスケール (3 から 6 ビット、32 から 256 の群) で円-熱間量子化をシミュレートする。
信号が量子化に特有な証拠は見つからず、タスクやエントロピーのセルで特徴をシャッフルすることで利得が取り除かれる。
論文 参考訳(メタデータ) (2026-11-12T08:47:29Z) - Swap, Replicate, Read the Mass: A Protocol for Auditing Demographic Bias in System One Decision Models [41.99844472131922]
システム1決定モデルは、テキスト生成を型付き、確率対応の回答に置き換え、生産に入る。
BBQ(全11カテゴリ)、CrowS-Pairs、SilverSpoonの3つのベンチマークを、型付きインターフェースに適合させる。
我々は、偏見よりも不安定性を追跡するような、広範囲なステレオタイプアライメント、秩序に依存した回答、信頼を見いだす。
論文 参考訳(メタデータ) (2026-10-31T00:36:15Z) - Scoring Explanations Without Reading Them: Structural Shortcuts in Automated-Interpretability Evaluation Data [0.17626455083672685]
自動解釈可能性(Automated Interpretability)はスパース・オートエンコーダ機能の説明を、モデルに予測、トークン単位のトークン化、特徴が評価例に発火する場所、あるいはマークされたトークンが適合するかどうかを尋ねることによって、スコア付けする。
評価データ標準パイプラインは,説明書を読まずに評価できることがわかった。
論文 参考訳(メタデータ) (2026-10-10T20:04:28Z) - CLM-as-a-Judge: Evaluating an Open Contrastive Decision Model on Public Judge Benchmarks [0.010480658740597679]
オープンコントラスト決定モデルは、ハード・パブリック・ベンチマークの審査員としてほぼ偶然である。
矛盾は+0.401まで過信されるが、保留された校正アイテムに1つのプールされた温度が適合し、予想される校正誤差は0.062まで修復される。
しかし、自信に満ちたカスケードは0.923から1.000のアイテムを登録済みの0.97保持バーの強い判事にエスカレートする。
論文 参考訳(メタデータ) (2026-10-05T18:01:37Z) - Calibrated Answers About Randomized Trials From a 4-Billion-Parameter Open Model: A Registered Test and a License-Clean Release [0.0]
Fiorillo v0.5は、各回答の確率で型付き質問に答えるオープンモデルである。
その主要な専門家はランダム化裁判の論文を読み、6,144個のトークンにカットし、介入が著しく増加したかどうかを答える。
論文 参考訳(メタデータ) (2026-10-04T15:09:39Z) - HoTS: Homophily-Aware Temperature Scaling for Graph Neural Network Calibration [34.70117899111798]
Homophily-Aware Temperature Scaling (HoTS) は、エントロピーに基づくロジット濃度と推定局所ホモフィリーから各ノードに正の温度を割り当てる単純なポストホックキャリブレータである。
HoTSは、予測エラー(ECE)が4.79%、最高の平均ランク、最も信頼できる信頼性ランキングを選択分類で達成している。
論文 参考訳(メタデータ) (2026-09-26T09:58:12Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳(メタデータ) (2026-09-02T10:30:05Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - PHBench: A Benchmark for Predicting Startup Series A Funding from Product Hunt Launch Signals [0.0]
Product Huntの構造化されたローンチシグナルには、シリーズAの資金調達結果に関する統計的に重要な予測情報が含まれている。
2019年から2025年までの67,292件のProduct Hunt記事からPHBenchを構築し、決定論的ドメインマッチングを通じてCrunchbaseの資金調達記録と関連づけた。
打ち上げから18ヶ月以内に確認されたシリーズAは528件(陽性率は0.78%)。
論文 参考訳(メタデータ) (2026-05-03T17:03:33Z) - Adaptive Testing for LLM Evaluation: A Psychometric Alternative to Static Benchmarks [26.89839484242575]
ATLASは大規模言語モデルの適応テストフレームワークである。
フィッシャー情報誘導項目選択によるモデル能力の推定を行う。
測定精度を維持しながら90%の項目削減を実現している。
論文 参考訳(メタデータ) (2025-10-26T03:54:12Z) - Uncertainty-aware Long-tailed Weights Model the Utility of Pseudo-labels for Semi-supervised Learning [50.868594148443215]
本研究では,不確かさを意識したアンサンブル構造(UES)を提案する。
UESは軽量でアーキテクチャに依存しないため、分類や回帰を含む様々なコンピュータビジョンタスクに容易に拡張できる。
論文 参考訳(メタデータ) (2025-03-13T02:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。