論文の概要: Exploring the Impact of Temperature on Large Language Models:Hot or Cold?

• arxiv url: http://arxiv.org/abs/2506.07295v1
• Date: Sun, 08 Jun 2025 21:36:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.752238
• Title: Exploring the Impact of Temperature on Large Language Models:Hot or Cold?
• Title（参考訳）: 大規模言語モデルにおける温度の影響を探る:温か寒か?
• Authors: Lujun Li, Lama Sleem, Niccolo' Gentile, Geoffrey Nichil, Radu State,
• Abstract要約: 我々は,0から2の範囲の温度が6つの異なる能力を評価するために設計されたデータセットに与える影響を評価する。 本研究は,最適温度選択の複雑さを浮き彫りにして,温度がモデル性能に与える影響を明らかにする。 本稿では,これらの観測効果を利用して,所定のプロンプトの最適温度を推定するBERTに基づく温度セレクタを提案する。
• 参考スコア（独自算出の注目度）: 9.70280446429164
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The sampling temperature, a critical hyperparameter in large language models (LLMs), modifies the logits before the softmax layer, thereby reshaping the distribution of output tokens. Recent studies have challenged the Stochastic Parrots analogy by demonstrating that LLMs are capable of understanding semantics rather than merely memorizing data and that randomness, modulated by sampling temperature, plays a crucial role in model inference. In this study, we systematically evaluated the impact of temperature in the range of 0 to 2 on data sets designed to assess six different capabilities, conducting statistical analyses on open source models of three different sizes: small (1B--4B), medium (6B--13B), and large (40B--80B). Our findings reveal distinct skill-specific effects of temperature on model performance, highlighting the complexity of optimal temperature selection in practical applications. To address this challenge, we propose a BERT-based temperature selector that takes advantage of these observed effects to identify the optimal temperature for a given prompt. We demonstrate that this approach can significantly improve the performance of small and medium models in the SuperGLUE datasets. Furthermore, our study extends to FP16 precision inference, revealing that temperature effects are consistent with those observed in 4-bit quantized models. By evaluating temperature effects up to 4.0 in three quantized models, we find that the Mutation Temperature -- the point at which significant performance changes occur -- increases with model size.
• Abstract（参考訳）: 大きな言語モデル(LLM)における臨界ハイパーパラメータであるサンプリング温度は、ソフトマックス層の前のロジットを修正し、出力トークンの分布を再構成する。 近年の研究では、LLMは単にデータを記憶するだけでなく、意味論を理解でき、サンプリング温度によって変調されるランダム性はモデル推論において重要な役割を担っていることを示すことで、確率的パロットの類似に挑戦している。 本研究では,0から2の範囲の温度が6つの異なる能力を評価するために設計されたデータセットに与える影響を系統的に評価し,小 (1B--4B), 中 (6B--13B), 大 (40B--80B) の3つの異なるサイズのオープンソースモデルに対する統計的解析を行った。 本研究により, 最適温度選択の複雑さを明らかにするとともに, 温度がモデル性能に与える影響を明らかにした。 この課題に対処するために,観測された効果を利用して与えられたプロンプトの最適温度を特定するBERTベースの温度セレクタを提案する。 提案手法は,SuperGLUEデータセットにおける中小モデルの性能を著しく向上させることができることを示す。 さらに,本研究はFP16精度推定にまで拡張し,温度効果が4ビット量子化モデルで観測されたものと一致していることを明らかにした。 3つの量子化モデルにおいて温度効果を最大4.0まで評価することにより、変異温度(重要な性能変化が起こる点)がモデルサイズとともに増加することが分かる。

関連論文リスト

• Exploring the Impact of Temperature Scaling in Softmax for Classification and Adversarial Robustness [8.934328206473456]
  この研究は「温度」として知られるソフトマックス関数内でしばしば見過ごされるパラメータを掘り下げる。 畳み込みニューラルネットワークとトランスフォーマーを採用した我々の実証研究は、温暖化によって全体的なパフォーマンスが向上することを示した。 一般的な腐敗に対するモデルロバスト性の向上、自然摂動、そして投影されたグラディエント・ダイスンのような非標的の敵攻撃などです。
  論文  参考訳（メタデータ） (2025-02-28T00:07:45Z)
• Optimizing Temperature for Language Models with Multi-Sample Inference [47.14991144052361]
  本稿では,異なる大言語モデルに対する(近傍)最適温度の自動同定という課題に対処する。 モデルアーキテクチャ、データセット、タスクタイプ、モデルサイズ、予測精度の変動を考慮して、性能最適化における温度の役割を総合的に分析する。 本稿では,温度自動最適化のためのエントロピーに基づく新しい計量法を提案する。
  論文  参考訳（メタデータ） (2025-02-07T19:35:25Z)
• Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
  モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。 我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
  論文  参考訳（メタデータ） (2024-11-14T18:31:39Z)
• Deep generative modelling of canonical ensemble with differentiable thermal properties [0.9421843976231371]
  標準アンサンブルの温度の異なる変分モデルを提案する。 深部生成モデルを用いて、連続した温度範囲で自由エネルギーを推定し、同時に最小化する。 トレーニングプロセスはデータセットを必要とせず、任意の明示的な密度生成モデルで動作する。
  論文  参考訳（メタデータ） (2024-04-29T03:41:49Z)
• A Three-regime Model of Network Pruning [47.92525418773768]
  我々は、ニューラルネットワーク(NN)トレーニングのハイパーパラメータが刈り取り性能に与える影響をモデル化するために、温度のようなパラメータと負荷のようなパラメータを使用します。 プレプルーニングモデルにおける負荷様パラメータの値に依存すると、プレプルーニングモデルにおける温度様パラメータの値が増加するか、その後のプルーニング性能が向上または損なわれる可能性がある。 本モデルでは, 高温のダイコトモス効果は, ポストプランニングモデルにおいて, 異なるタイプの大域構造間の遷移と関係していることが明らかとなった。
  論文  参考訳（メタデータ） (2023-05-28T08:09:25Z)
• Long Horizon Temperature Scaling [90.03310732189543]
  LHTS(Long Horizon Temperature Scaling)は、温度スケールの関節分布をサンプリングするための新しい手法である。 温度依存性のLHTS目標を導出し, 温度範囲のモデルを微調整することで, 制御可能な長地平線温度パラメータで生成可能な単一モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-07T18:59:32Z)
• Uhlmann Fidelity and Fidelity Susceptibility for Integrable Spin Chains at Finite Temperature: Exact Results [68.8204255655161]
  奇数パリティ部分空間の適切な包含は、中間温度範囲における最大忠実度感受性の向上につながることを示す。 正しい低温の挙動は、2つの最も低い多体エネルギー固有状態を含む近似によって捉えられる。
  論文  参考訳（メタデータ） (2021-05-11T14:08:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。