論文の概要: Beyond Post-Hoc Temperature Scaling: Bilevel Optimization for LLM Calibration

• arxiv url: http://arxiv.org/abs/2608.07419v1
• Date: Fri, 07 Aug 2026 17:05:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.57242
• Title: Beyond Post-Hoc Temperature Scaling: Bilevel Optimization for LLM Calibration
• Title（参考訳）: 高温後のスケーリングを超えて: LLMキャリブレーションのバイレベル最適化
• Abstract要約: 優先アライメントは、しばしば大きな言語モデル(LLM)を過度に信頼し、キャリブレーションが不十分にする。 キャリブレーションの目的として,予測分布のエントロピーの最大化を提案する。 本手法は、領域外一般化において特に有利な、よく校正されたLLMが得られる。
• 参考スコア（独自算出の注目度）: 8.906593271577266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference alignment often makes large language models (LLMs) overconfident and poorly calibrated. Traditional post-hoc temperature scaling is inherently domain-dependent: a temperature fitted on one domain does not generalize across domains. This motivates us to modify model parameters during training to improve calibration. We propose maximizing the entropy of predictive distributions as the calibration objective, which directly targets overconfidence by discouraging overly concentrated predictions. Inspired by temperature scaling, we realize this through a bilevel optimization formulation, where the lower level trains the model under a parametric loss and the upper level selects loss hyperparameters to maximize entropy. To make the framework practical at LLM scale, we adopt an efficient first-order approximation that avoids explicit second-order computation. Across both multiple-choice and open-ended generative question answering, experiments demonstrate that our method yields well-calibrated LLMs with particular advantages in out-of-domain generalization.
• Abstract（参考訳）: 優先アライメントは、しばしば大きな言語モデル(LLM)を過度に信頼し、キャリブレーションが不十分にする。 伝統的に保温後のスケーリングは本質的にドメインに依存しており、あるドメインに適合する温度はドメイン全体にわたって一般化しない。 これは、キャリブレーションを改善するためにトレーニング中にモデルパラメータを変更する動機となります。 本稿では,過度に集中した予測を回避し,過信を直接ターゲットとするキャリブレーション目標として,予測分布のエントロピーを最大化することを提案する。 温度スケーリングにインスパイアされた2レベル最適化の定式化により,下層はパラメトリックな損失の下でモデルを訓練し,上層は損失ハイパーパラメータを選択してエントロピーを最大化する。 LLMスケールでフレームワークを実用的なものにするために、明示的な二階計算を避ける効率的な一階近似を採用する。 複数選択とオープンな生成的質問応答の両面において,本手法がドメイン外一般化において特に有利な,良好な校正 LLM が得られることを示す実験を行った。

関連論文リスト

• Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters [13.718993776070434]
  不確実性定量化(UQ)は、大規模言語モデル(LLM)の信頼性を自己評価する上で最も重要である。 我々は、LLMに基づく決定論的特徴抽出器に不確実性推論のためのランダムな最終層パラメータが続くベイズ最後の層(BLL)モデルを構築した。 我々は変分(V)推論フレームワークを活用して、スケーラブルなベイズ微調整アプローチを提案する。
  論文  参考訳（メタデータ） (2026-04-03T18:42:04Z)
• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• Mitigating Forgetting in Low Rank Adaptation [17.859306837144732]
  本稿では、Low-Rank AdaptationにLaplace近似を適用する重み空間正規化手法であるLaLoRAを提案する。 提案手法は,各パラメータに対するモデルの信頼度を推定し,高曲率方向の更新を制約する。 数学的推論のためのLlamaモデルの微調整によりLaLoRAを評価し,学習鍛造トレードオフの改善を実証した。
  論文  参考訳（メタデータ） (2025-12-19T15:54:36Z)
• Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning [8.349781300731225]
  LOREN (curvature-aware zeroth-order (ZO) optimization method for fine-tuning large language model (LLMs)) を紹介する。 乱摂動を用いた有限差分による勾配推定を行う既存のZO法は、しばしば高いばらつきと準最適探索方向に悩まされる。 i) 勾配推定のための異方性摂動分布を適応的に推定し, (ii) 低ランクブロック対角前処理器で曲率を計測し, (iii) ばらつきを抑えるためにREINFORCEスタンス・ワン・アウト(RLOO) 勾配推定器を適用することにより, これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-11-11T08:34:09Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Laplace Matching for fast Approximate Inference in Generalized Linear Models [27.70274403550477]
  本論文では,高い近似品質を実現しつつ,計算的に安価に設計した近似推論フレームワークを提案する。 我々が emphLaplace Matching と呼ぶこの概念は、指数群のパラメータ空間間の閉形式、近似、双方向変換を含む。 これにより、GLMにおける推論を(小さな近似誤差で)共役推論に変換する。
  論文  参考訳（メタデータ） (2021-05-07T08:25:17Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。