論文の概要: Monte Carlo Temperature: a robust sampling strategy for LLM's uncertainty quantification methods

• arxiv url: http://arxiv.org/abs/2502.18389v1
• Date: Tue, 25 Feb 2025 17:33:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 18:40:48.869238
• Title: Monte Carlo Temperature: a robust sampling strategy for LLM's uncertainty quantification methods
• Title（参考訳）: モンテカルロ温度:LLMの不確実性定量法のためのロバストサンプリング戦略
• Authors: Nicola Cecere, Andrea Bacciu, Ignacio Fernández Tobías, Amin Mantrach,
• Abstract要約: 本研究では,温度校正の必要性を解消するロバストサンプリング戦略を提案する。 MCTは、幅広い温度でより堅牢な不確実性推定を提供する。 MCTはオラクル温度と統計的に同等であり、これはよく調整されているが計算に費用がかかるHPOプロセスの理想的な結果である。
• 参考スコア（独自算出の注目度）: 1.3892342684177872
• License:
• Abstract: Uncertainty quantification (UQ) in Large Language Models (LLMs) is essential for their safe and reliable deployment, particularly in critical applications where incorrect outputs can have serious consequences. Current UQ methods typically rely on querying the model multiple times using non-zero temperature sampling to generate diverse outputs for uncertainty estimation. However, the impact of selecting a given temperature parameter is understudied, and our analysis reveals that temperature plays a fundamental role in the quality of uncertainty estimates. The conventional approach of identifying optimal temperature values requires expensive hyperparameter optimization (HPO) that must be repeated for each new model-dataset combination. We propose Monte Carlo Temperature (MCT), a robust sampling strategy that eliminates the need for temperature calibration. Our analysis reveals that: 1) MCT provides more robust uncertainty estimates across a wide range of temperatures, 2) MCT improves the performance of UQ methods by replacing fixed-temperature strategies that do not rely on HPO, and 3) MCT achieves statistical parity with oracle temperatures, which represent the ideal outcome of a well-tuned but computationally expensive HPO process. These findings demonstrate that effective UQ can be achieved without the computational burden of temperature parameter calibration.
• Abstract（参考訳）: 大規模言語モデル(LLM)における不確実性定量化(UQ)は、安全で信頼性の高いデプロイメントに不可欠である。 現在のUQ法は、不確実性推定のために様々な出力を生成するために、非ゼロ温度サンプリングを用いてモデルを複数回クエリすることに依存するのが一般的である。 しかし, 温度パラメータの選択の影響について検討した結果, 温度が不確実性評価の質に基本的な役割を担っていることが明らかとなった。 最適温度値を特定する従来の手法では、新しいモデルとデータセットの組み合わせごとに繰り返しなければならない高価なハイパーパラメータ最適化(HPO)が必要である。 我々は,モンテカルロ温度(MCT)を提案し,温度校正の必要性を解消するロバストサンプリング戦略を提案する。 私たちの分析は、こう明らかにしています。 1) MCTは幅広い温度でより堅牢な不確実性推定を提供する。 2) MCTはHPOに依存しない固定温度戦略を置き換えることでUQ法の性能を向上させる。 3) MCTはオラクル温度と統計的に一致し, 十分に調整されているが計算コストの高いHPOプロセスの理想的な結果を示す。 これらの結果から, 温度パラメータのキャリブレーションの計算負担を伴わずに, 有効なUQが達成できることが示唆された。

関連論文リスト

• Optimizing Temperature for Language Models with Multi-Sample Inference [47.14991144052361]
  本稿では,異なる大言語モデルに対する(近傍)最適温度の自動同定という課題に対処する。 モデルアーキテクチャ、データセット、タスクタイプ、モデルサイズ、予測精度の変動を考慮して、性能最適化における温度の役割を総合的に分析する。 本稿では,温度自動最適化のためのエントロピーに基づく新しい計量法を提案する。
  論文  参考訳（メタデータ） (2025-02-07T19:35:25Z)
• A High-accuracy Calibration Method of Transient TSEPs for Power Semiconductor Devices [2.7446241148152257]
  熱感度電気パラメータ(TSEP)法は電力機器の信頼性を高めるために重要である。 本稿では,一過性TSEPの高精度校正法を提案する。 従来の校正法と比較して、平均絶対誤差は30%以上減少する。
  論文  参考訳（メタデータ） (2025-01-09T06:56:47Z)
• Temperature Optimization for Bayesian Deep Learning [9.610060788662972]
  テストログ予測密度を最大化する温度を選択するためのデータ駆動手法を提案する。 提案手法は,グリッド探索において,コストのごく一部で比較可能な性能を実証的に証明する。
  論文  参考訳（メタデータ） (2024-10-08T07:32:22Z)
• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• Long Horizon Temperature Scaling [90.03310732189543]
  LHTS(Long Horizon Temperature Scaling)は、温度スケールの関節分布をサンプリングするための新しい手法である。 温度依存性のLHTS目標を導出し, 温度範囲のモデルを微調整することで, 制御可能な長地平線温度パラメータで生成可能な単一モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-07T18:59:32Z)
• Role of topology in determining the precision of a finite thermometer [58.720142291102135]
  低接続性は、温度計を低温で動作させるためのリソースであることに気付きました。 位置測定により達成可能な精度を,エネルギー測定に対応する最適値と比較する。
  論文  参考訳（メタデータ） (2021-04-21T17:19:42Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• A Transfer Learning-based State of Charge Estimation for Lithium-Ion Battery at Varying Ambient Temperatures [14.419790834463548]
  リチウムイオン電池(LiB)駆動デバイスに安定かつ効率的な環境を提供するためには、充電状態(SoC)推定が重要です。 ほとんどのデータ駆動SoCモデルは、温度に対するLiBの高感度を無視し、深刻な予測誤差を引き起こす可能性がある固定周囲温度のために構築されています。 提案手法は, 固定温度での予測誤差(例えば-20degCで24.35%, 25degCで49.82%)を低減させるだけでなく, 新温度での予測精度も向上する。
  論文  参考訳（メタデータ） (2021-01-11T05:26:37Z)
• Data-Driven Permanent Magnet Temperature Estimation in Synchronous Motors with Supervised Machine Learning [0.0]
  自動車用永久磁石同期モータ(PMSM)における磁石温度のモニタリングは難しい課題である。 過熱によりモータの劣化が激しくなり、機械の制御戦略とその設計に高い懸念が生じる。 いくつかの機械学習(ML)モデルは、潜時高ダイナミックな磁力温度分布を予測するタスクにおいて、その推定精度を実証的に評価する。
  論文  参考訳（メタデータ） (2020-01-17T11:41:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。