論文の概要: Understanding temperature tuning in energy-based models

• arxiv url: http://arxiv.org/abs/2512.09152v1
• Date: Tue, 09 Dec 2025 22:06:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-11 15:14:53.331772
• Title: Understanding temperature tuning in energy-based models
• Title（参考訳）: エネルギーモデルにおける温度調整の理解
• Authors: Peter W Fields, Vudtiwat Ngampruetikorn, David J Schwab, Stephanie E Palmer,
• Abstract要約: スパースデータからの学習は、モデルが体系的に高エネルギー状態の確率を過大評価する原因となることを示す。 より一般的には、最適なサンプリング温度が、データサイズとシステムの根底にあるエネルギーランドスケープとの相互作用にどのように依存するかを特徴付ける。 これにより,本フレームワークは,真のデータ分布の特性と学習モデルの限界を明らかにする診断ツールとして,高温後の温度調整を行う。
• 参考スコア（独自算出の注目度）: 5.75145367989177
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generative models of complex systems often require post-hoc parameter adjustments to produce useful outputs. For example, energy-based models for protein design are sampled at an artificially low ''temperature'' to generate novel, functional sequences. This temperature tuning is a common yet poorly understood heuristic used across machine learning contexts to control the trade-off between generative fidelity and diversity. Here, we develop an interpretable, physically motivated framework to explain this phenomenon. We demonstrate that in systems with a large ''energy gap'' - separating a small fraction of meaningful states from a vast space of unrealistic states - learning from sparse data causes models to systematically overestimate high-energy state probabilities, a bias that lowering the sampling temperature corrects. More generally, we characterize how the optimal sampling temperature depends on the interplay between data size and the system's underlying energy landscape. Crucially, our results show that lowering the sampling temperature is not always desirable; we identify the conditions where \emph{raising} it results in better generative performance. Our framework thus casts post-hoc temperature tuning as a diagnostic tool that reveals properties of the true data distribution and the limits of the learned model.
• Abstract（参考訳）: 複雑なシステムの生成モデルは、有用な出力を生成するためにポストホックパラメータ調整を必要とすることが多い。 例えば、タンパク質設計のためのエネルギーベースのモデルは、新しく機能的な配列を生成するために、人工的に低い'温度'でサンプリングされる。 この温度調整は、生成的忠実度と多様性の間のトレードオフを制御するために機械学習の文脈でよく使われるが、よく理解されていないヒューリスティックである。 本稿では,この現象を説明するための,解釈可能な物理的動機付けフレームワークを開発する。 大規模な'エネルギーギャップ'を持つシステムにおいて、非現実的状態の広大な空間から少数の意味のある状態を切り離すことで、スパースデータから学習することで、モデルが体系的に高エネルギー状態の確率を過大評価し、サンプリング温度を下げるバイアスが発生することを実証する。 より一般的には、最適なサンプリング温度が、データサイズとシステムの根底にあるエネルギーランドスケープとの相互作用にどのように依存するかを特徴付ける。 以上の結果から,サンプリング温度の低下は必ずしも望ましいものではないことが示唆された。 これにより,本フレームワークは,真のデータ分布の特性と学習モデルの限界を明らかにする診断ツールとして,高温後の温度調整を行う。

関連論文リスト

• Latent Thermodynamic Flows: Unified Representation Learning and Generative Modeling of Temperature-Dependent Behaviors from Limited Data [0.0]
  表現学習と生成モデリングを密接に統合したエンドツーエンドのフレームワークであるLaTF(Latent Thermodynamic Flows)を紹介する。 LaTFはNational Predictive Information Bottleneck(SPIB)をNFと統合し、低次元の潜在表現を同時に学習する。 我々は、モデルポテンシャル、チグノリンタンパク質、レナード・ジョーンズ粒子のクラスターを含む様々なシステムにおけるLaTFの有効性を実証する。
  論文  参考訳（メタデータ） (2025-07-03T21:02:36Z)
• Exploring the Impact of Temperature on Large Language Models:Hot or Cold? [9.70280446429164]
  我々は,0から2の範囲の温度が6つの異なる能力を評価するために設計されたデータセットに与える影響を評価する。 本研究は,最適温度選択の複雑さを浮き彫りにして,温度がモデル性能に与える影響を明らかにする。 本稿では,これらの観測効果を利用して,所定のプロンプトの最適温度を推定するBERTに基づく温度セレクタを提案する。
  論文  参考訳（メタデータ） (2025-06-08T21:36:26Z)
• Optimizing Temperature for Language Models with Multi-Sample Inference [47.14991144052361]
  本稿では,異なる大言語モデルに対する(近傍)最適温度の自動同定という課題に対処する。 モデルアーキテクチャ、データセット、タスクタイプ、モデルサイズ、予測精度の変動を考慮して、性能最適化における温度の役割を総合的に分析する。 本稿では,温度自動最適化のためのエントロピーに基づく新しい計量法を提案する。
  論文  参考訳（メタデータ） (2025-02-07T19:35:25Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• Temperature dependence of energy transport in the $\mathbb{Z}_3$ chiral clock model [0.0]
  本研究では, 1次元$mathbbZ_3$キラルクロックモデルの非可積分状態におけるエネルギー輸送について検討した。 本研究では, 比較的高温のモデルにおける輸送係数を, 空隙のない相と低温の相の両方よりも高い温度で抽出する。 量子臨界スケーリングが観測される温度には到達できないが、我々のアプローチはモデルの輸送特性にアクセスすることができる。
  論文  参考訳（メタデータ） (2023-10-31T18:00:30Z)
• Long Horizon Temperature Scaling [90.03310732189543]
  LHTS(Long Horizon Temperature Scaling)は、温度スケールの関節分布をサンプリングするための新しい手法である。 温度依存性のLHTS目標を導出し, 温度範囲のモデルを微調整することで, 制御可能な長地平線温度パラメータで生成可能な単一モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-07T18:59:32Z)
• Uhlmann Fidelity and Fidelity Susceptibility for Integrable Spin Chains at Finite Temperature: Exact Results [68.8204255655161]
  奇数パリティ部分空間の適切な包含は、中間温度範囲における最大忠実度感受性の向上につながることを示す。 正しい低温の挙動は、2つの最も低い多体エネルギー固有状態を含む近似によって捉えられる。
  論文  参考訳（メタデータ） (2021-05-11T14:08:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。