論文の概要: Information-Theoretic Foundations of Online Temperature Sampling

• arxiv url: http://arxiv.org/abs/2610.15043v1
• Date: Sat, 10 Oct 2026 16:29:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:47:40.576155
• Title: Information-Theoretic Foundations of Online Temperature Sampling
• Title（参考訳）: オンライン温度サンプリングの情報理論の基礎
• Abstract要約: 繰り返し、縮退生成はLLM復号の持続的な失敗であり、標準的な修復(温度、核、トップ$k$サンプリング)は静的である。 本稿では,各接頭辞の温度を再現するEntropic Online Smpling (EOS)を提案する。 実験では、EOSがオフライン温度を追跡し、エントロピーの温度を一定に保った。
• 参考スコア（独自算出の注目度）: 21.654334464305034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Repetitive, degenerate generation is a persistent failure of LLM decoding, and the standard remedies (temperature, nucleus, and top-$k$ sampling) are static heuristics. By Kac's lemma and the AEP, a stationary source takes time exponential in its entropy to repeat a block. We therefore maximize the entropy of the sampling distributions under one cross-entropy budget that keeps the output plausible under the model. Offline, the solution is temperature sampling, with the inverse temperature as the budget's Lagrange multiplier. \emph{Our contribution is the online problem}: the conditionals $p_1, p_2, \dots$ are revealed one at a time, and the sampling distribution $q_t$ must be chosen causally from $p_1, \dots, p_t$ while the budget couples the entire horizon. The optimal temperature is thus a global shadow price that must be estimated from a prefix. We propose Entropic Online Sampling (EOS), which re-solves for the temperature on each prefix. We prove it loses $O(R\log n)$ entropy against the offline optimum while overshooting the budget by $O(R\log n)$, with $R$ an instance-dependent drift parameter. A budget-tightened variant is exactly feasible at the same rate. Conversely, every exactly feasible online algorithm must lose $Ω(R)$, so EOS is optimal up to a $\log n$ factor. When the conditionals are drawn from a finite mixture, $R=\tilde{O}(\sqrt{n})$. Experiments confirm that EOS tracks the offline temperature and beats fixed-temperature sampling in entropy.
• Abstract（参考訳）: 繰り返し、縮退生成はLLM復号の持続的な失敗であり、標準的な修復(温度、核、トップ$kのサンプリング)は静的ヒューリスティックである。 カックの補題とAEPにより、静止源はそのエントロピーにおいて指数関数的に時間をかけてブロックを繰り返す。 したがって,1つのクロスエントロピー予算の下でのサンプリング分布のエントロピーを最大化し,出力をモデルの下で安定に維持する。 オフラインでは、解決策は温度サンプリングであり、逆温度は予算のラグランジュ乗算器である。 条件の$p_1, p_2, \dots$は一度に1つ、サンプリングの$q_t$は$p_1, \dots, p_t$から因果的に選択されなければならない。 最適温度は、接頭辞から推定しなければならない大域的なシャドウ価格である。 本稿では,各接頭辞の温度を再現するEntropic Online Smpling (EOS)を提案する。 オフラインの最適値に対して$O(R\log n)$エントロピーが失われ、予算を$O(R\log n)$でオーバーシュートし、インスタンス依存のドリフトパラメータが$R$であることを証明する。 予算の厳格化は、まったく同じ速度で実現可能である。 逆に、真に実現可能なオンラインアルゴリズムはすべて$Ω(R)$を失う必要があるので、EOSは$\log n$ factorまで最適である。 条件が有限混合から引き出されるとき、$R=\tilde{O}(\sqrt{n})$である。 実験では、EOSがオフライン温度を追跡し、エントロピーの温度を一定に保った。

関連論文リスト

• The Optimal Decoder is Tilted Temperature [17.185410309988217]
  以上の結果から,LLMのサンプリング温度が高いことが示唆された。 サンプルサイズ$k$で多様性予算をスケーリングする自然法則の下で、結果の最適温度は$k$で上昇する。 オフライン設定では、モデルが校正されると、そのログ確率はアフィンマップまでの正確性を追跡する。
  論文  参考訳（メタデータ） (2026-10-10T16:49:38Z)
• Parameter-Free Interval-Dynamic Regret under Heavy-Tailed Noise [55.29259818039367]
  オンライン凸最適化を1ラウンドに1つの偏りのない下位段階と、未知の有限条件の雑音モーメントであるp$th, $1ple2$で検討する。 長さ$n$の固定区間$I$に対して、学習者は最適な全水平静的レートを含む1+log(T/n)$を達成する。
  論文  参考訳（メタデータ） (2026-09-30T21:03:03Z)
• High-Magnetization Sampling at Low Temperatures: Ising Models and Bayesian Sparse Linear Regression [21.42487326470028]
  スパシティは最適化と統計において強力な構造資源である。 我々はハミングスライス上でのサンプリング問題における疎結合を利用したフレームワークを開発する。 我々は,任意の信号-雑音比において,任意の間隔で,標準的EmphGauss的スパイク・アンド・スラブ後部からサンプリングする方法を示す。
  論文  参考訳（メタデータ） (2026-09-08T15:13:03Z)
• When Does the Best Sampling Temperature Rise with the Budget? Sufficient Conditions for Pass@k [0.0]
  pass@k$を最大化する温度は、小さなサンプリング予算では低く、大きな予算では高くなります。 この機構は, 単トン様比比比の低いタスクへの傾きを示す。 この貢献は確立された経験的現象の条件理論であり、将来の研究で検証できる仮定を持つ。
  論文  参考訳（メタデータ） (2026-08-01T08:43:36Z)
• Matching Rates and Optimal Allocation for Federated Probe-Logit Distillation under Heterogeneous Bandwidth Budgets [12.805268849262243]
  言語モデリングでは、$K$ノードはそれぞれ$n$サンプルを保持するが、データのプールや完全な精度勾配や重みの交換はできない。 本研究では,各ノードが1クエリあたり最大$B$ビットを公開プローブセットにアップロードできる場合に,$V$トークンの条件分布を推定できるミニマックスレートについて検討する。
  論文  参考訳（メタデータ） (2026-05-28T09:08:39Z)
• Optimal limits of continuously monitored thermometers and their Hamiltonian structure [0.24999074238880484]
  ボソニックおよびフェルミオン環境における温度測定の基本的および実用的精度の限界について,N$レベルのプローブを結合して連続的にモニタリングすることにより検討した。 以上の結果から,Fisher情報によって定量化される最終的な精度限界は,平衡温度測定よりも指数関数的に向上したN$と線形にスケールすることが示唆された。 固定されたハミルトン構造では、観測された観測された観測された観測された軌道を最小限の誤差で温度推定にマッピングする最大推定戦略を開発する。
  論文  参考訳（メタデータ） (2024-08-02T15:05:06Z)
• Fast Rates for Maximum Entropy Exploration [52.946307632704645]
  エージェントが未知の環境下で活動し、報酬が得られない場合、強化学習(RL)における探索の課題に対処する。 本研究では,最大エントロピー探索問題を2つの異なるタイプで検討する。 訪問エントロピーには、$widetildemathcalO(H3S2A/varepsilon2)$ sample complexity を持つゲーム理論アルゴリズムを提案する。 軌道エントロピーに対しては,次数$widetildemathcalO(mathrmpoly(S,)の複雑さのサンプルを持つ単純なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-14T16:51:14Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
  本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。 各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。 第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。