論文の概要: Temperature Fragility and the Conditional Benefits of Truncation Sampling

• arxiv url: http://arxiv.org/abs/2609.15476v1
• Date: Mon, 14 Sep 2026 12:33:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.326011
• Title: Temperature Fragility and the Conditional Benefits of Truncation Sampling
• Title（参考訳）: トラニケートサンプリングの温度不安定性と条件付き効果
• Abstract要約: トラニケーションサンプリング器は引き込み前に最も可能性の低いトークンを廃棄するので、高温でのサンプリングはコヒーレントである。 我々はGSM8KとMMLU-Proの13個のオープンウェイトモデルを1つの制御パイプラインで温度0.7, 1.0, 1.3で試験した。
• 参考スコア（独自算出の注目度）: 0.01684341809285884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models generate text by sampling each token from a predicted distribution, and a temperature parameter sets how far the draw strays from the most probable tokens. Truncation samplers such as top-p and min-p discard the least probable tokens before the draw, so that sampling at high temperature stays coherent. Their reported accuracy gains come from temperatures of 1.5 to 3, while the defaults of deployed systems cluster between 0.6 and 1.0. Whether they change accuracy at those defaults, and for which models, has not been measured. We test thirteen open-weight models on GSM8K and MMLU-Pro at temperatures 0.7, 1.0, and 1.3 in one controlled pipeline, ten of them under eight decoding configurations. Six of the thirteen models lose 17 to 38 accuracy points on MMLU-Pro between 0.7 and 1.3, and the other seven lose at most 10. The lost accuracy comes from generations that run to the token limit or never state an answer. These results suggest that truncation samplers improve accuracy primarily when higher temperatures substantially degrade model performance. Where accuracy remains stable across temperatures, none of the tested truncation samplers improves on plain temperature sampling.
• Abstract（参考訳）: 大規模言語モデルは、予測された分布から各トークンをサンプリングしてテキストを生成し、温度パラメータは、最も予測可能なトークンからどのくらいの距離を引いたかを設定する。 トップp や min-p のようなトリニケートサンプリング器は、引き出し前に最も可能性の低いトークンを廃棄するので、高温でのサンプリングはコヒーレントである。 報告された精度は1.5から3の温度から上昇し、デプロイされたシステムのデフォルトは0.6から1.0である。 それらのデフォルトで、どのモデルで、正確性を変更するかは、測定されていない。 我々は、GSM8KとMMLU-Proの13個のオープンウェイトモデルを、1つの制御パイプラインで0.7, 1.0, 1.3でテストし、そのうち10個を8個のデコード構成でテストした。 13モデルのうち6機種はMMLU-Proで17点から38点の精度を0.7点から1.3点に落とし、残りの7機種は最大10点に低下した。 紛失した精度は、トークンの限界まで走った世代から来ています。 これらの結果から, モデル性能が著しく低下した場合に, トラクションサンプリング器の精度が向上することが示唆された。 温度で精度が安定している場合、試験されたトランケーションサンプリングはいずれも平らな温度サンプリングでは改善されない。

関連論文リスト

• Respect Your Zero-Shot Uncertainty: Conservative Calibration for Test-Time-Adapted Vision-Language Models [5.63022899921334]
  TTAは,トップ1の予測と正しさが変わらない場合でも,信頼性を高め,エントロピーを低減することができることを示す。 ゼロショットアンコールドエントロピー(ZAEC)は,ゼロショットエントロピーをサンプル固有の不確実性基準として用いたラベルフリーポストホック法である。
  論文  参考訳（メタデータ） (2026-08-06T12:11:53Z)
• Cycle-Consistent and Uncertainty-Aware Neural Surrogates for Tokamak Edge Plasmas [0.040071856451118486]
  境界プラズマと変圧器プラズマはトカマクが動力と粒子を排出する方法を支配している。 機械学習のサロゲートは高速な代替手段を提供するが、多くは前方のみである。 本稿では,エッジプラズマに対するサイクル一貫性ニューラルサロゲートを提案する。
  論文  参考訳（メタデータ） (2026-07-23T15:06:57Z)
• The Instability of Safety: How Random Seeds and Temperature Expose Inconsistent LLM Refusal Behavior [0.0]
  大規模な言語モデルの現在の安全性評価は単発テストに依存している。 本研究では,無作為種子と温度設定の安全性判定の安定性について検討した。
  論文  参考訳（メタデータ） (2025-12-12T22:29:13Z)
• The Paradox of Stochasticity: Limited Creativity and Computational Decoupling in Temperature-Varied LLM Outputs of Structured Fictional Data [0.0]
  本研究では,3つの大言語モデル(LLM)における構成されたフィクションデータ(名前,誕生日)の生成に温度設定とモデル構造がどう影響するかを検討する。 我々は,889個の構造体を合成整合性に検証した330の試験を行った。 重要な発見は、モデルアーキテクチャが計算効率に大きな影響を与え、Mistral:latestとllama3.1:8bはDeepseek-r1:8bより8倍高速であることを示している。
  論文  参考訳（メタデータ） (2025-02-12T15:47:48Z)
• Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
  モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。 我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
  論文  参考訳（メタデータ） (2024-11-14T18:31:39Z)
• Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
  微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。 トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T13:13:39Z)
• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• Not All Semantics are Created Equal: Contrastive Self-supervised Learning with Automatic Temperature Individualization [51.41175648612714]
  分散ロバスト最適化(DRO)に着想を得た新しい頑健なコントラスト損失を提案する。 提案アルゴリズムは,各サンプルに対して適切な$tau$を自動で学習することを示す。 提案手法は, 単モーダル・バイモーダル・データセットにおいて, 従来の強いベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-19T19:25:56Z)
• Long Horizon Temperature Scaling [90.03310732189543]
  LHTS(Long Horizon Temperature Scaling)は、温度スケールの関節分布をサンプリングするための新しい手法である。 温度依存性のLHTS目標を導出し, 温度範囲のモデルを微調整することで, 制御可能な長地平線温度パラメータで生成可能な単一モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-07T18:59:32Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。