論文の概要: Introducing Background Temperature to Characterise Hidden Randomness in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.22411v1
• Date: Fri, 24 Apr 2026 10:11:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.420363
• Title: Introducing Background Temperature to Characterise Hidden Randomness in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける隠れランダム性を特徴付ける背景温度の導入
• Authors: Alberto Messina, Stefano Scotta,
• Abstract要約: 本稿では,実装に依存した摂動過程によって誘導される有効温度である,エンファンバックグラウンド温度$T_mathrmbg$の概念を紹介する。 理想参照システムの等価温度$T_n(I)$を介して$T_bg$を推定する経験的プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 0.27299033472568546
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Even when decoding with temperature $T=0$, large language models (LLMs) can produce divergent outputs for identical inputs. Recent work by Thinking Machines Lab highlights implementation-level sources of nondeterminism, including batch-size variation, kernel non-invariance, and floating-point non-associativity. In this short note we formalize this behavior by introducing the notion of \emph{background temperature} $T_{\mathrm{bg}}$, the effective temperature induced by an implementation-dependent perturbation process observed even when nominal $T=0$. We provide clean definitions, show how $T_{\mathrm{bg}}$ relates to a stochastic perturbation governed by the inference environment $I$, and propose an empirical protocol to estimate $T_{bg}$ via the equivalent temperature $T_n(I)$ of an ideal reference system. We conclude with a set of pilot experiments run on a representative pool from the major LLM providers that demonstrate the idea and outline implications for reproducibility, evaluation, and deployment.
• Abstract（参考訳）: 温度$T=0$で復号しても、大言語モデル(LLM)は同一入力に対して発散出力を生成することができる。 Thinking Machines Labの最近の研究は、バッチサイズのバリエーション、カーネルの非不変性、浮動小数点非連想性など、非決定性の実装レベルソースを強調している。 本稿では、この振る舞いを、名目$T=0$であっても観測される実装依存摂動過程によって誘導される実効温度である「emph{background temperature} $T_{\mathrm{bg}}$」の概念を導入することによって形式化する。 クリーンな定義を提供し、$T_{\mathrm{bg}}$が推論環境$I$によって支配される確率的摂動とどのように関連しているかを示し、理想参照システムの等価温度$T_n(I)$を介して$T_{bg}$を推定する経験的プロトコルを提案する。 我々は,LLMプロバイダの代表的プール上で実施される一連の実験で,再現性,評価,展開に関する概念を実証し,その意義を概説する。

関連論文リスト

• Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
  分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。 主な課題は、敵の計測と非同期である。 その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
  論文  参考訳（メタデータ） (2026-04-07T11:45:55Z)
• Fast Convergence for High-Order ODE Solvers in Diffusion Probabilistic Models [5.939858158928473]
  拡散確率モデルは、データをノイズに変換するノイズ注入プロセスの逆転を学ぶことでサンプルを生成する。 重要な展開は、決定論的確率フロー常微分方程式(ODE)としての逆サンプリング過程の再構成である。 本稿では、任意の分散スケジュールを持つ一般的な前処理のためのODEから導出される決定論的サンプルの厳密な収束解析について述べる。
  論文  参考訳（メタデータ） (2025-06-16T03:09:25Z)
• Analytical Softmax Temperature Setting from Feature Dimensions for Model- and Domain-Robust Classification [0.0]
  ディープラーニングに基づく分類タスクでは、温度パラメータ$T$が出力分布と全体的な性能に重大な影響を与える。 本研究は, 最適温度$T*$が特徴表現の次元性によって一意に決定されるという新しい理論的知見を提示する。 我々は,クラス数とタスク複雑性に基づいて,$T*$を改良する修正スキームを導入しながら,追加のトレーニングを伴わずに$T*$を推定する実験式を開発した。
  論文  参考訳（メタデータ） (2025-04-22T05:14:38Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• Invariant Causal Prediction with Local Models [52.161513027831646]
  観測データから対象変数の因果親を特定するタスクについて検討する。 L-ICP(textbfL$ocalized $textbfI$nvariant $textbfCa$usal $textbfP$rediction)と呼ばれる実用的手法を導入する。
  論文  参考訳（メタデータ） (2024-01-10T15:34:42Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Functional Linear Regression of Cumulative Distribution Functions [20.96177061945288]
  本稿では,CDFを至る所で正確に推定する機能リッジ回帰に基づく推定手法を提案する。 固定設計, ランダム設計, 対逆コンテキストの場合の$widetilde O(sqrtd/n)$の推定誤差上限を示す。 パラメータ空間が無限次元ヒルベルト空間である無限次元モデルを定式化し、この設定に対して自己正規化推定誤差上限を確立する。
  論文  参考訳（メタデータ） (2022-05-28T23:59:50Z)
• Active learning for distributionally robust level-set estimation [16.869069414080847]
  評価コストの高いブラックボックス関数 $f$ が 2 種類の変数 $bm x$ と $bm w$ に依存することを示す。 頑健性の自然な測度は、$f(bm x, bm w)$が与えられた閾値$h$を超える確率である。 本稿では,この問題に対する理論的基礎と計算学的に効率的な能動学習法を提案する。
  論文  参考訳（メタデータ） (2021-02-08T04:43:31Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。