論文の概要: Probabilistic Calibration Is a Trainable Capability in Language Models

• arxiv url: http://arxiv.org/abs/2605.11845v1
• Date: Tue, 12 May 2026 09:28:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.755688
• Title: Probabilistic Calibration Is a Trainable Capability in Language Models
• Title（参考訳）: 確率的校正は言語モデルで訓練可能な能力である
• Authors: Davide Baldelli, Sruthi Kuriakose, Maryam Hashemzadeh, Amal Zouaq, Sarath Chandar,
• Abstract要約: この能力を微調整により直接的に改善できるかどうかについて検討する。 数式分布のサンプリングを必要とする合成プロンプトの言語モデルを微調整する。 その結果,微調整により確率的キャリブレーションが向上できることが示唆された。
• 参考スコア（独自算出の注目度）: 16.65176033248406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are increasingly used in settings where outputs must satisfy user-specified randomness constraints, yet their generation probabilities are often poorly calibrated to those targets. We study whether this capability can be improved directly through fine-tuning. Concretely, we fine-tune language models on synthetic prompts that require sampling from mathematical distributions, and compare two Calibration Fine-Tuning variants: a soft-target method that converts the desired output distribution into trie-derived next-token targets, and a hard-target method that trains on sampled completions from the same target distribution. Across 12 models spanning four families, both methods substantially improve structured-sampling fidelity on held-out distribution families and unseen parameter settings, showing that probabilistic calibration is a trainable capability. Under our selected training configurations, the two methods exhibit different empirical profiles: hard-target fine-tuning is often strongest on structured numeric sampling, while soft-target fine-tuning performs better on broader stochastic generation benchmarks, including open-ended random generation, multiple-choice answer-position balancing, and NoveltyBench. The gains sometimes reduce downstream capability, especially arithmetic reasoning, with costs varying by model. Overall, our results show that probabilistic calibration can be improved through fine-tuning, with our hard-target configuration favoring exact numeric fidelity and our soft-target configuration favoring broader stochastic transfer. Code is available at https://github.com/chandar-lab/calibration-finetuning.
• Abstract（参考訳）: 言語モデルは、出力がユーザの指定したランダム性制約を満たさなければならないような設定において、ますます使われていますが、それらの生成確率は、しばしばそれらのターゲットに不適切な調整がなされます。 この能力を微調整により直接的に改善できるかどうかについて検討する。 具体的には、数理分布からのサンプリングを必要とする合成プロンプトに関する言語モデルを微調整し、所望の出力分布をトリエ由来の次トーケンターゲットに変換するソフトターゲット法と、同じターゲット分布からサンプリング完了を訓練するハードターゲット法という2つのキャリブレーション・ファインチューニング法を比較した。 4つの家系にまたがる12種類のモデルにおいて,いずれの手法も保持分布系における構造サンプリングの忠実度とパラメータ設定を著しく改善し,確率的キャリブレーションが訓練可能な能力であることを示す。 ハードターゲットの微調整は構造化された数値サンプリングにおいて最強であるのに対し、ソフトターゲットの微調整は、オープンエンドランダム生成、マルチチョイス応答配置バランス、ノベルティベンチなど、より広範な確率的生成ベンチマークにおいてより優れた性能を発揮する。 ゲインは時々ダウンストリーム能力、特に算術的推論を減らし、コストはモデルによって異なる。 以上の結果から, 確率的キャリブレーションは微調整により向上し, ハードターゲット構成は正確な数値忠実度, ソフトターゲット構成はより広い確率的移動度が好ましいことがわかった。 コードはhttps://github.com/chandar-lab/calibration-finetuning.comで入手できる。

関連論文リスト

• Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
  信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。 異なるデータ条件に合わせた2つの学習方法を提案する。 この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
  論文  参考訳（メタデータ） (2025-09-30T20:36:41Z)
• Dividable Configuration Performance Learning [4.949726352498762]
  本稿では,DaLと呼ばれる構成性能を予測するためのモデルに依存しない,スパース性ロバストなフレームワークを提案する。 DaLは、"diide-and-learn"を使ってモデルを構築する、分割可能な学習の新しいパラダイムに基づいている。
  論文  参考訳（メタデータ） (2024-09-11T21:23:23Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
  本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。 本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T00:54:57Z)
• Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
  特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。 本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-01T17:46:47Z)
• Learning Sampling Distributions for Model Predictive Control [36.82905770866734]
  モデル予測制御(MPC)に対するサンプリングに基づくアプローチは、MPCに対する現代のアプローチの基盤となっている。 我々は、学習された分布を最大限に活用できるように、潜在空間における全ての操作を実行することを提案する。 具体的には、学習問題を双方向の最適化として捉え、バックプロパゲーションスルータイムでコントローラをトレーニングする方法を示す。
  論文  参考訳（メタデータ） (2022-12-05T20:35:36Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。