論文の概要: Before and After Temperature: A Distributional View of Creative LLM Generation

• arxiv url: http://arxiv.org/abs/2606.01451v1
• Date: Sun, 31 May 2026 21:13:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.710347
• Title: Before and After Temperature: A Distributional View of Creative LLM Generation
• Title（参考訳）: 前・後温度:創造的LCM生成の分布
• Abstract要約: パイプラインでは、より強力なシグナルが1歩早く存在することが示されています。 Llama-3.1-8B-Instruct generations of 500 open-ended creative prompts at 0.3, 0.8, 1.5$, a single-token feature predicts the within-prompt creative rank。 機械的には、勝利はインコヒーレンス体制の鋭い分布的な署名から生まれる。
• 参考スコア（独自算出の注目度）: 0.6927055673104934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reference-free evaluation of large language model (LLM) creativity relies on perplexity, entropy, and top-1 margin. We show that a much stronger signal lives one step earlier in the pipeline: in how sampling temperature \emph{reshapes} the model's token distribution before the next token is drawn. On Llama-3.1-8B-Instruct generations of 500 open-ended creative prompts at $T \in \{0.3, 0.8, 1.5\}$, a single per-token feature derived from this reshaping predicts the within-prompt creativity rank at Spearman $ρ{=}0.918$ against an averaged gpt-4o\,/\,gemini-2.5-pro judge ($n{=}500$) and $ρ{=}0.870$ against a three-rater human-majority ranking ($n{=}150$). Each of four standard reference-free baselines (self-perplexity, mean predictive entropy, top-1 margin, gzip compression ratio) tops out at $|ρ|\!\approx\!0.76$ on both ground truths: a gap of $+0.165$ on averaged-LLM and $+0.110$ on human-majority, both far larger than the spread among the baselines themselves. The two ground-truth panels agree with each other at $ρ{=}0.83$, above the inter-human ceiling of $ρ{=}0.77$, so the comparison is not bottlenecked by judge noise. Mechanistically, the win comes from a sharp distributional signature of the incoherence regime: at $T{=}1.5$ the cumulative-mass width $n_{95}(q)$ inflates from $\sim\!1$ to ${\sim}\!131$ tokens and post-temperature mass leaks off the pre-temperature top-$90\%$ plausible set by about $13$ percentage points. The per-token aggregates do not separate $T{=}0.8$ from $T{=}0.3$; discriminating the two coherent regimes is left to sequence-level features.
• Abstract（参考訳）: 大規模言語モデル(LLM)のクリエイティビティの基準のない評価は、パープレキシティ、エントロピー、トップ1マージンに依存している。 サンプル温度 \emph{reshapes} において、次のトークンが引き出される前にモデルのトークン分布をサンプリングする方法を示す。 Llama-3.1-8B-Instruct generation of 500 open-ended creative prompts at $T \in \{0.3, 0.8, 1.5\}$, a single per-token feature derived from this reshaping predicts the within-prompt creative rank at Spearman $ρ{=}0.918$ against a averaged gpt-4o\,/\,gemini-2.5-pro judge ($n{=}500$) and $ρ{=}0.870$ against a three-rater human-majority rank ($n{=}150$)。 4つの標準基準自由ベースライン(自己パープレキシティ、平均予測エントロピー、トップ1マージン、gzip圧縮比)は、それぞれ$|ρ|\! \approx\! 平均的なLLMで$+0.165ドル、人間大で$+0.110ドルという差は、どちらもベースライン自体の広がりよりもはるかに大きい。 2つの地平線パネルは、$ρ{=}0.83$で互いに一致し、$ρ{=}0.77$の人間間天井の上である。 機械的には、この勝利は非コヒーレンス状態の鋭い分布のシグネチャから来る: at $T{=}1.5$ the cumulative-mass width $n_{95}(q)$ inflates from $\sim\! 1ドルから${\sim}\! 131ドル(約1,300円)のトークンとポスト温度のマスリークは、温度前のトップ90\%のプラウシブルセットを約13ドル(約1,300円)のポイントでリークする。 個々の集合は$T{=}0.8$と$T{=}0.3$を区別しない。

関連論文リスト

• Inevitability of Encrypted Traffic Side-Channel Leakage in the Multi-Class Setting [20.06940271479014]
  クラスごとの分解$I(X;Y)=sum_i_i D_mathrmKL(P_Y|i|P_Y)$を介して、Side-Channel Existence Theoremを$k$クラスに拡張します。 以下の3つの結果が従う: (1) 活性クラス全体の和形式 MI の下限、(2) カスケード臨界コスト定理と、一様予算境界が消滅する非ゼロ、(3) 精度 $mathrmAcc*
  論文  参考訳（メタデータ） (2026-09-06T00:48:40Z)
• One Inverse Step is a Convex Program: Bayes-Limit Calibration of Diffusion Inversion [0.0]
  1つの暗黙のDDIM反転ステップは、事前訓練された拡散モデルが局所多様体幾何学を符号化するかどうかの最も安価なプローブである。 フェルミ窓はモデルのトレーニングサポートと3.6$-$5.6times$で対立し、ヘッセン=リプシッツ定数は法が読み取る曲率の2-$12%である。 最後の条件付き天井 $_t_max(mathrmsym,J)le1$, from $mathrmCov(x_0mid x_t)succeq0$
  論文  参考訳（メタデータ） (2026-08-24T11:01:54Z)
• The Value of Depth in Message Passing on Sparse Graphs: A Kesten-Stigum Dichotomy [0.0]
  グラフニューラルネットワークがスパースグラフにどの程度の深さを持つ必要があるかを研究する。 深さの値は、Kesten-Stigum比$=2$である。 任意の深さの局所分類器は、孤立根によって設定された普遍床 $e-(-)$ を破ることはない。
  論文  参考訳（メタデータ） (2026-07-18T07:11:45Z)
• Trade-off Functions for DP-SGD with Subsampling based on Random Shuffling: Tight Upper and Lower Bounds [7.787109481104569]
  ランダムシャッフルに基づくサブサンプリングによるDP-SGDのトレードオフ関数の厳密な解析を導出する。 Berry-Esseenの定理によって導かれる我々の具体的な境界は、証明フレームワーク内の定数要素に密着している。
  論文  参考訳（メタデータ） (2026-05-07T13:35:43Z)
• Bond-dimension scaling of a local-refinement advantage over hyperoptimized tensor-network contraction on Sycamore like topologies [0.0]
  我々は,コテングラテンソル-ネットワーク収縮パイプラインにおける局所再分極の欠如を同定した。 我々は、その影響がシカモア型トポロジーの直交性グラフ上の結合次元とともに単調に増加することを示す。
  論文  参考訳（メタデータ） (2026-04-28T11:59:31Z)
• Rényi exponent landscape of multipartite entanglement in free-fermion systems [51.56484100374058]
  我々は、Rényi tripartite information $I_3() が小フェルミ運動量での質的に $exclusion-dependent scaling を示すことを示した。 I_m(n)/I_m(1) sim zm-1 to 0$ for all integer $n geq 2$, so the leading von Neumann signal can builded from integer Rényi data。
  論文  参考訳（メタデータ） (2026-03-09T22:27:00Z)
• Numerical Fragility in Transformers: A Layer-wise Theory for Explaining, Forecasting, and Mitigating Instability [0.0]
  エラーがいつどこで発生するかを予測する一階のモジュールワイズ理論を提示する。 自己注意のために、3つの解釈可能な診断に分解する層間境界を導出する。 また、精度と幅を意識したLayerNormインジケータ$rho_rm LN$も導入する。
  論文  参考訳（メタデータ） (2025-10-17T01:03:02Z)
• A Black-Box Debiasing Framework for Conditional Sampling [18.132736654624058]
  条件付きサンプリングはベイズ統計学および生成モデルにおける基本的な課題である。 本稿では,このようなナイーブなプラグインアプローチの精度を向上させるブラックボックスデバイアス方式を提案する。
  論文  参考訳（メタデータ） (2025-10-13T07:11:27Z)
• On the $O(\frac{\sqrt{d}}{K^{1/4}})$ Convergence Rate of AdamW Measured by $\ell_1$ Norm [52.95596504632859]
  本稿では、$ell_1$ノルムで測定されたAdamWに対して、収束速度 $frac1Ksum_k=1KEleft[||nabla f(xk)||_1right]leq O(fracsqrtdCK1/4)$を確立する。 結果は、二重モーメント機構を用いたAdamW変種であるNAdamWに拡張し、同じ収束率を維持していることを示す。
  論文  参考訳（メタデータ） (2025-05-17T05:02:52Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• Reward-Mixing MDPs with a Few Latent Contexts are Learnable [75.17357040707347]
  報酬混合マルコフ決定過程(RMMDP)におけるエピソード強化学習の検討 我々のゴールは、そのようなモデルにおける時間段階の累積報酬をほぼ最大化する、ほぼ最適に近いポリシーを学ぶことである。
  論文  参考訳（メタデータ） (2022-10-05T22:52:00Z)
• Nearly Horizon-Free Offline Reinforcement Learning [97.36751930393245]
  S$状態、$A$アクション、計画的地平$H$で、エピソードな時間同質なMarkov決定プロセスに関するオフライン強化学習を再考する。 経験的MDPを用いた評価と計画のための,約$H$自由なサンプル複雑性境界の最初の集合を得る。
  論文  参考訳（メタデータ） (2021-03-25T18:52:17Z)
• Sparse sketches with small inversion bias [79.77110958547695]
  逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。 本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。 スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
  論文  参考訳（メタデータ） (2020-11-21T01:33:15Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。