論文の概要: Optimizing Temperature for Language Models with Multi-Sample Inference
- arxiv url: http://arxiv.org/abs/2502.05234v1
- Date: Fri, 07 Feb 2025 19:35:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:36:12.677843
- Title: Optimizing Temperature for Language Models with Multi-Sample Inference
- Title（参考訳）: マルチサンプル推論を用いた言語モデルの最適温度推定
- Authors: Weihua Du, Yiming Yang, Sean Welleck,
- Abstract要約: 本稿では,異なる大言語モデルに対する(近傍)最適温度の自動同定という課題に対処する。
モデルアーキテクチャ、データセット、タスクタイプ、モデルサイズ、予測精度の変動を考慮して、性能最適化における温度の役割を総合的に分析する。
本稿では,温度自動最適化のためのエントロピーに基づく新しい計量法を提案する。
- 参考スコア（独自算出の注目度）: 47.14991144052361
- License:
- Abstract: Multi-sample aggregation strategies, such as majority voting and best-of-N sampling, are widely used in contemporary large language models (LLMs) to enhance predictive accuracy across various tasks. A key challenge in this process is temperature selection, which significantly impacts model performance. Existing approaches either rely on a fixed default temperature or require labeled validation data for tuning, which are often scarce and difficult to obtain. This paper addresses the challenge of automatically identifying the (near)-optimal temperature for different LLMs using multi-sample aggregation strategies, without relying on task-specific validation data. We provide a comprehensive analysis of temperature's role in performance optimization, considering variations in model architectures, datasets, task types, model sizes, and predictive accuracy. Furthermore, we propose a novel entropy-based metric for automated temperature optimization, which consistently outperforms fixed-temperature baselines. Additionally, we incorporate a stochastic process model to enhance interpretability, offering deeper insights into the relationship between temperature and model performance.
- Abstract（参考訳）: 多数決やベスト・オブ・Nサンプリングといったマルチサンプル集約戦略は、様々なタスクにおける予測精度を高めるために、現代の大規模言語モデル(LLM)で広く使われている。
このプロセスにおける重要な課題は、モデルの性能に大きな影響を与える温度選択である。
既存のアプローチでは、固定されたデフォルト温度に依存するか、チューニングにラベル付きバリデーションデータを必要とする。
本稿では,タスク固有の検証データに頼ることなく,マルチサンプルアグリゲーション戦略を用いて,異なるLLMに対して(近傍)最適温度を自動的に識別する課題について述べる。
モデルアーキテクチャ、データセット、タスクタイプ、モデルサイズ、予測精度の変動を考慮して、性能最適化における温度の役割を総合的に分析する。
さらに,温度自動最適化のためのエントロピーに基づく新しい計量法を提案する。
さらに,解釈可能性を高めるために確率的プロセスモデルを導入し,温度とモデル性能の関係について深い知見を提供する。
関連論文リスト
- Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。
我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
論文 参考訳（メタデータ） (2024-11-14T18:31:39Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling [31.663507929452564]
生成品質と多様性のバランスをとるために,効率的なエントロピーに基づく動的温度サンプリング法を提案する。
我々の実験によると、EDTは様々なタスクで既存の戦略を著しく上回ります。
論文 参考訳（メタデータ） (2024-03-21T16:41:12Z) - Temperature Balancing, Layer-wise Weight Analysis, and Neural Network
Training [58.20089993899729]
本稿では,直感的で効果的な階層学習手法であるTempBalanceを提案する。
我々は、TempBalanceが通常のSGDと注意深く調整されたスペクトルノルム正規化より著しく優れていることを示す。
また、TempBalanceは最先端のメトリクスやスケジューラよりも優れています。
論文 参考訳（メタデータ） (2023-12-01T05:38:17Z) - Capturing Local Temperature Evolution during Additive Manufacturing
through Fourier Neural Operators [0.0]
本稿では, 加法製造過程における局所的な温度変化を捉えたデータ駆動モデルを提案する。
直接エネルギー沈着過程における不連続なガレルキン有限要素法に基づく数値シミュレーションで検証した。
その結果、このモデルはR2$で測定された高忠実度を実現し、トレーニングプロセスに含まれていない測地に対する一般化性を維持した。
論文 参考訳（メタデータ） (2023-07-04T16:17:59Z) - Not All Semantics are Created Equal: Contrastive Self-supervised
Learning with Automatic Temperature Individualization [51.41175648612714]
分散ロバスト最適化(DRO)に着想を得た新しい頑健なコントラスト損失を提案する。
提案アルゴリズムは,各サンプルに対して適切な$tau$を自動で学習することを示す。
提案手法は, 単モーダル・バイモーダル・データセットにおいて, 従来の強いベースラインよりも優れていた。
論文 参考訳（メタデータ） (2023-05-19T19:25:56Z) - Long Horizon Temperature Scaling [90.03310732189543]
LHTS(Long Horizon Temperature Scaling)は、温度スケールの関節分布をサンプリングするための新しい手法である。
温度依存性のLHTS目標を導出し, 温度範囲のモデルを微調整することで, 制御可能な長地平線温度パラメータで生成可能な単一モデルが得られることを示す。
論文 参考訳（メタデータ） (2023-02-07T18:59:32Z) - Fine-tune your Classifier: Finding Correlations With Temperature [2.071516130824992]
我々は、データセットを表現に計算された統計の集合として記述することで、分類タスクに対する温度の影響を分析する。
これらの抽出された統計値と観測された最適温度との相関について検討した。
論文 参考訳（メタデータ） (2022-10-18T09:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。