論文の概要: Typed Decision Models under Prevalence Shift: Decision Training, Calibration, and Implicit Priors

• arxiv url: http://arxiv.org/abs/2610.26325v1
• Date: Mon, 19 Oct 2026 13:01:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 18:22:07.604945
• Title: Typed Decision Models under Prevalence Shift: Decision Training, Calibration, and Implicit Priors
• Title（参考訳）: 有病率シフト下におけるタイプ決定モデル:決定訓練、校正、インシシット優先
• Abstract要約: 我々は、意思決定トレーニングが自身のバックボーンよりもモデルを改善するかどうか、TDMの校正と閾値が有病率(ラベル)シフトに耐えられるかどうかを問う。 3つのTDM(Jev,Tev1-4B,Ninmble-9B)とそのベースモデルと2つのトレーニングされた分類器を、シミュレートされたシフトの下で5つの公開データセットから同一の決定について比較する。 私たちがテストした3つのTDMは、背骨よりも均一に良いものでも、シフト中のユニークに壊れやすいものでもない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Typed decision models (TDMs) return a probability over caller-defined options, and Jev is described by its vendor as calibrated. But in deployment class frequencies change, so calibration measured on a fixed test set need not hold where thresholds are applied. Existing evaluations leave two gaps: the gains of vendor decision training have not been separated from those of the backbone under an identical readout, and TDMs have been tested only at the test set's class distribution. We ask whether decision training improves a model over its own backbone, and whether a TDM's calibration and thresholds withstand prevalence (label) shift as well as a fine-tuned classifier's. We compare three TDMs (Jev, Tev1-4B, Nimble-9B), their base models and two trained classifiers on identical decisions from five public datasets under simulated shift, with 35 paired tests fixed before any test was computed. First, decision training is not uniformly beneficial: Nimble-9B, which differs from Qwen3.5-9B only by a LoRA adapter, is better calibrated on intent tasks but 12.0 Macro-F1 points worse on financial sentiment. Second, under moderate shift Jev's expected calibration error (ECE) and threshold risk grow significantly more than a fine-tuned DeBERTa's only on financial sentiment, by 1.7 and 2.5 percentage points; averaged over 2,000 shift scenarios (exploratory), the gap is at most one point on every dataset. Third, EM prior correction with the model's mean development prediction as its prior needs no labels and lowers Jev's ECE under shift by 2.7 and 1.8 points on the two datasets where it is highest, although labelled recalibration lowers it far more. The three TDMs we tested are neither uniformly better than their backbones nor uniquely fragile under shift; for calibration, their main weakness is the miscalibration they already have without shift. We release all inputs, code and outputs.
• Abstract（参考訳）: 型決定モデル(TDM)は呼び出し元定義のオプションよりも確率を返し、Jevはベンダーによって校正されていると説明される。 しかし、展開クラスの周波数が変化するため、固定されたテストセットで測定されたキャリブレーションは、しきい値が適用される場所を保持する必要はない。 既存の評価には2つのギャップがある:ベンダー決定トレーニングの利益は、同じ読み出しの下でバックボーンの利益とは分離されておらず、TDMはテストセットのクラス分布でのみテストされている。 我々は、意思決定トレーニングが自身のバックボーン上でモデルを改善するかどうか、TDMのキャリブレーションと閾値が有病率(ラベル)の変化に耐えるかどうか、そして微調整された分類器の精度を問う。 3つのTDM(Jev,Tev1-4B,Ninmble-9B)とベースモデルと2つのトレーニングされた分類器を比較した。 ニブル-9BはQwen3.5-9BとLoRAアダプタのみで異なるが、意図的なタスクでは校正が良いが、マクロ-F1は金銭的な感情では悪い。 第二に、Jevの予測キャリブレーション誤差(ECE)としきい値リスクは、微調整されたDeBERTaの財務的な感情にのみ依存する1.7と2.5パーセンテージよりも大幅に増加し、2000以上のシフトシナリオ(探索)の平均的な差は、各データセットの少なくとも1ポイントである。 第3に、EMはモデルの平均開発予測を事前に修正し、ラベルが不要で、最高となる2つのデータセットの2.7点と1.8点の差でJevのECEを下げるが、ラベル付き再校正でははるかに低い。 私たちがテストした3つのTDMは、背骨よりも均一に良いものでも、シフト中のユニークに壊れやすいものでもない。 すべてのインプット、コード、アウトプットをリリースします。

関連論文リスト

• Quantization Effects on Biomedical LLM Reliability [7.3368947626054215]
  PubMed文分類に基づく3つのMistral-7B変種(Base, BioMistral, Instruct)の制御評価を行った。 我々の主要な発見は、確率抽出プロトコルが明らかに校正を支配していることである。 プロンプトテンプレートの選択は、モデルレベルの効果に匹敵する7～24ポイントの精度差を生み出す。
  論文  参考訳（メタデータ） (2026-08-04T15:57:21Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• MARGIN: Runtime Confidence Calibration for Multi-Agent Foundation Model Coordination [0.0]
  本稿では,MARGIN(Multi-Agent Grading via Incremental Normalisation)を提案する。 18の基盤モデル、8のベンチマーク、44,000以上の観測結果から、MARGINは分布シフト時の最良の設計時ベースラインよりも3-6倍低いキャリブレーション誤差を達成している。
  論文  参考訳（メタデータ） (2026-05-21T18:25:05Z)
• Self-Calibrating Language Models via Test-Time Discriminative Distillation [18.46710400838861]
  大規模言語モデル(LLM)は、しばしば間違って答える質問に対して体系的に過度に信頼されている。 我々は、テスト時間トレーニング(TTT)パイプラインである$textbfSECL$ ($textbfSE$lf-$textbfC$alibrating $textbfL$anguage Modelsを紹介します。
  論文  参考訳（メタデータ） (2026-03-18T13:28:50Z)
• Calibrated and Robust Foundation Models for Vision-Language and Medical Image Tasks Under Distribution Shift [2.292525568003776]
  CLIPやSAMといった基礎モデルには、低ショット転送学習による高度なコンピュータビジョンと医療画像があり、限られたデータでCADDを支援する。 両課題に対処するためのFIPとCMPの融合である textbfStaRFM を提案する。 パッチワイド正規化により3Dに拡張されたFIPを適用し、埋め込みシフトを減らすとともに、ボクセルレベルの予測のために修正されたCMPをセグメンテーションの不確実性に適用する。
  論文  参考訳（メタデータ） (2025-07-12T09:39:07Z)
• Test-Time Adaptation with Binary Feedback [50.20923012663613]
  BiTTAは、不確実なサンプルに対するバイナリフィードバック誘導適応と、確実な予測に対する合意に基づく自己適応のバランスをとる、新しいデュアルパス最適化フレームワークである。 実験の結果、BiTTAは最先端のベースラインよりも13.3%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-05-24T05:24:10Z)
• Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
  擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。 このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。 FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
  論文  参考訳（メタデータ） (2024-01-09T08:59:39Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。