論文の概要: Neural Thermodynamic Laws for Large Language Model Training

• arxiv url: http://arxiv.org/abs/2505.10559v1
• Date: Thu, 15 May 2025 17:59:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.460954
• Title: Neural Thermodynamic Laws for Large Language Model Training
• Title（参考訳）: 大規模言語モデル学習のためのニューラル熱力学法則
• Authors: Ziming Liu, Yizhou Liu, Jeff Gore, Max Tegmark,
• Abstract要約: 大規模言語モデルに対する新たな洞察を提供する新しいフレームワークであるNeural Thermodynamic Laws (NTL)を紹介します。 理論面では,水温,エントロピー,熱容量,熱伝導など重要な熱力学量(温度,エントロピー,熱伝導など)が自然に河川谷の損失景観の仮定の下で現れることを実証する。 実践面では、この科学的視点は、学習率スケジュールを設計するための直感的なガイドラインをもたらす。
• 参考スコア（独自算出の注目度）: 13.83966606346023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Beyond neural scaling laws, little is known about the laws underlying large language models (LLMs). We introduce Neural Thermodynamic Laws (NTL) -- a new framework that offers fresh insights into LLM training dynamics. On the theoretical side, we demonstrate that key thermodynamic quantities (e.g., temperature, entropy, heat capacity, thermal conduction) and classical thermodynamic principles (e.g., the three laws of thermodynamics and the equipartition theorem) naturally emerge under river-valley loss landscape assumptions. On the practical side, this scientific perspective yields intuitive guidelines for designing learning rate schedules.
• Abstract（参考訳）: ニューラルスケーリング法則以外にも、大きな言語モデル(LLM)の基礎となる法則についてはほとんど知られていない。 我々は、LLMトレーニングダイナミクスに関する新たな洞察を提供する新しいフレームワークであるNeural Thermodynamic Laws (NTL)を紹介する。 理論的な側面から、重要な熱力学量(例えば、温度、エントロピー、熱容量、熱伝導)と古典的な熱力学原理(例えば、熱力学の3つの法則と等分法定理)は、自然に川と谷の損失景観の仮定の下で現れることを示した。 実践面では、この科学的視点は、学習率スケジュールを設計するための直感的なガイドラインをもたらす。

関連論文リスト

• Pioneer: Physics-informed Riemannian Graph ODE for Entropy-increasing Dynamics [61.70424540412608]
  幅広いエントロピー増加動的システムに対する物理インフォームドグラフODEを提案する。 我々は、物理法則に従って、証明可能なエントロピーの非減少を報告する。 実証的な結果は、実際のデータセット上でのPioneerの優位性を示している。
  論文  参考訳（メタデータ） (2025-02-05T14:54:30Z)
• Laws of thermodynamics for exponential families [2.092840468195572]
  一般指数族の観点から熱力学の法則を発展させる。 指数族が熱力学と学習平衡を特徴付けるよく知られた方法を拡張する。 これらの考え方は分布シフトの定量化と対処に幅広い意味を持っている。
  論文  参考訳（メタデータ） (2025-01-03T19:36:09Z)
• Thermodynamics-Consistent Graph Neural Networks [50.0791489606211]
  本稿では,二成分混合物の組成依存的活動係数を予測するために,ギブス自由エネルギーグラフニューラルネットワーク(GE-GNN)を提案する。 GE-GNNアーキテクチャはギブス自由エネルギーを超えるモルを予測することによって熱力学的整合性を確保する。 活性係数予測の精度と熱力学的整合性を示す。
  論文  参考訳（メタデータ） (2024-07-08T06:58:56Z)
• Gauge Quantum Thermodynamics of Time-local non-Markovian Evolutions [77.34726150561087]
  一般時間局所非マルコフマスター方程式を扱う。 我々は、電流とパワーを、古典的熱力学のようにプロセスに依存していると定義する。 この理論を量子熱機関に適用することにより、ゲージ変換が機械効率を変化させることを示す。
  論文  参考訳（メタデータ） (2022-04-06T17:59:15Z)
• Maximum entropy quantum state distributions [58.720142291102135]
  我々は、保存された量の完全な分布に関する伝統的な熱力学と条件を超える。 その結果、熱状態からの偏差が広い入力分布の極限でより顕著になる量子状態分布が得られた。
  論文  参考訳（メタデータ） (2022-03-23T17:42:34Z)
• Open-system approach to nonequilibrium quantum thermodynamics at arbitrary coupling [77.34726150561087]
  熱浴に結合したオープン量子系の熱力学挙動を記述する一般的な理論を開発する。 我々のアプローチは、縮小された開系状態に対する正確な時間局所量子マスター方程式に基づいている。
  論文  参考訳（メタデータ） (2021-09-24T11:19:22Z)
• Gauge invariant quantum thermodynamics: consequences for the first law [0.0]
  情報理論は熱力学関数の同定において重要な役割を果たしている。 熱力学の背後にある粗粒化の緩やかな変種をエンコードする物理的動機付けゲージ変換を明示的に構築する。 その結果、量子的仕事と熱、および量子コヒーレンスの役割を再解釈する。
  論文  参考訳（メタデータ） (2021-04-20T17:53:16Z)
• The information-theoretic foundation of thermodynamic work extraction [0.0]
  ある一組の州で作成された物理的システムから決定的に作業を引き出すことができれば、それらの状態は互いに区別できなければならない。 この結果はスケールと特定の力学則とは独立に定式化されている。 また、エネルギー保存法則によって確立された熱力学と情報理論の新たな結びつきも提供する。
  論文  参考訳（メタデータ） (2020-09-09T21:58:03Z)
• Tangible phenomenological thermodynamics [4.87717454493713]
  熱力学の新しい厳密な基礎が本文に記載され、付録に詳細が記載されている。 作業、熱、内部エネルギー、熱貯水池、可逆性、絶対温度、エントロピーといったすべての関連する概念が抽象レベルで導入されている。
  論文  参考訳（メタデータ） (2020-02-20T19:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。