Fugu-MT 論文翻訳(概要): On the Temperature of Machine Learning Systems

論文の概要: On the Temperature of Machine Learning Systems

arxiv url: http://arxiv.org/abs/2404.13218v1
Date: Fri, 19 Apr 2024 23:54:32 GMT
ステータス: 処理完了
システム内更新日: 2024-04-23 19:58:55.208710
Title: On the Temperature of Machine Learning Systems
Title（参考訳）: 機械学習システムの温度について
Authors: Dong Zhang,
Abstract要約: 機械学習(ML)システムのための熱力学理論を開発した。エネルギーとエントロピーによって特徴づけられる熱力学系と同様に、ML系もこれらの特性を持つ。
参考スコア（独自算出の注目度）: 7.5316489008018666
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We develop a thermodynamic theory for machine learning (ML) systems. Similar to physical thermodynamic systems which are characterized by energy and entropy, ML systems possess these characteristics as well. This comparison inspire us to integrate the concept of temperature into ML systems grounded in the fundamental principles of thermodynamics, and establish a basic thermodynamic framework for machine learning systems with non-Boltzmann distributions. We introduce the concept of states within a ML system, identify two typical types of state, and interpret model training and refresh as a process of state phase transition. We consider that the initial potential energy of a ML system is described by the model's loss functions, and the energy adheres to the principle of minimum potential energy. For a variety of energy forms and parameter initialization methods, we derive the temperature of systems during the phase transition both analytically and asymptotically, highlighting temperature as a vital indicator of system data distribution and ML training complexity. Moreover, we perceive deep neural networks as complex heat engines with both global temperature and local temperatures in each layer. The concept of work efficiency is introduced within neural networks, which mainly depends on the neural activation functions. We then classify neural networks based on their work efficiency, and describe neural networks as two types of heat engines.
Abstract（参考訳）: 機械学習(ML)システムのための熱力学理論を開発した。エネルギーとエントロピーによって特徴づけられる物理的熱力学系と同様に、ML系もこれらの特性を持つ。この比較は、温度の概念を熱力学の基本原理に基づくMLシステムに統合し、ボルツマン分布を持たない機械学習システムのための基本的な熱力学フレームワークを確立するきっかけとなった。 MLシステム内の状態の概念を導入し、2つの典型的な状態タイプを特定し、状態相転移の過程としてモデルトレーニングとリフレッシュを解釈する。 MLシステムの初期ポテンシャルエネルギーはモデルの損失関数によって記述され、エネルギーは最小ポテンシャルエネルギーの原理に従うと考えられる。各種エネルギー形態およびパラメータ初期化法について,解析的および漸近的に相転移中の系の温度を導出し,システムデータ分布とMLトレーニングの複雑さの重要指標として温度を強調した。さらに,各層における大域温度と局部温度の両方の複雑な熱機関として,ディープニューラルネットワークを知覚する。作業効率の概念は、主に神経活性化関数に依存するニューラルネットワーク内で導入される。次に、作業効率に基づいてニューラルネットワークを分類し、ニューラルネットワークを2種類のヒートエンジンとして記述する。

関連論文リスト

Thermodynamics-Consistent Graph Neural Networks [50.0791489606211]
本稿では,二成分混合物の組成依存的活動係数を予測するために,ギブス自由エネルギーグラフニューラルネットワーク(GE-GNN)を提案する。 GE-GNNアーキテクチャはギブス自由エネルギーを超えるモルを予測することによって熱力学的整合性を確保する。活性係数予測の精度と熱力学的整合性を示す。
論文参考訳（メタデータ） (2024-07-08T06:58:56Z)
Quantum Equilibrium Propagation: Gradient-Descent Training of Quantum Systems [0.6526824510982799]
平衡伝播はエネルギーベースのシステムのトレーニングフレームワークである。 EPはシステム物理を用いてコスト関数の勾配勾配を求める。 EPを量子系に拡張し、最小化されるエネルギー関数は平均エネルギー関数である。
論文参考訳（メタデータ） (2024-06-02T21:58:54Z)
Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文参考訳（メタデータ） (2024-02-20T15:23:24Z)
Quantum Fisher Information for Different States and Processes in Quantum Chaotic Systems [77.34726150561087]
エネルギー固有状態と熱密度行列の両方について量子フィッシャー情報(QFI)を計算する。局所的なユニタリ変換の結果と比較した。
論文参考訳（メタデータ） (2023-04-04T09:28:19Z)
Physically Consistent Neural ODEs for Learning Multi-Physics Systems [0.0]
本稿では, 可逆ポート・ハミルトニアンシステム (IPHS) の枠組みを利用する。データからパラメータを学習するために,PC-NODE(Physically Consistent NODE)を提案する。提案手法の有効性を実世界の実測値から建物熱力学を学習し,その有効性を実証する。
論文参考訳（メタデータ） (2022-11-11T11:20:35Z)
Physics Informed Machine Learning for Chemistry Tabulation [5.368509527675853]
動的に生成するThemochemical State Variablesを組み込むため,ChemTabベースの定式化と実装を構築した。このディープニューラルネットワークアーキテクチャの実装における課題について議論し、その性能を実験的に実証する。
論文参考訳（メタデータ） (2022-11-06T04:24:38Z)
Controlling local thermal states in classical many-body systems [77.34726150561087]
任意の非相互系における局所熱状態の能動的制御の理論的基礎を定めている。熱を放射的に交換するシステムのコンテキストにおける代表例をいくつか考察する。
論文参考訳（メタデータ） (2022-08-19T07:08:19Z)
Constructing Neural Network-Based Models for Simulating Dynamical Systems [59.0861954179401]
データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
論文参考訳（メタデータ） (2021-11-02T10:51:42Z)
Qubit thermodynamics far from equilibrium: two perspectives about the nature of heat and work in the quantum regime [68.8204255655161]
2段階系の熱力学解析のための代替理論フレームワークを開発する。我々は、局所ハミルトニアンを定義する外部場が存在する場合、ブロッホベクトルを回転させるエネルギーコストを表す新しい作業項の出現を観察する。両視点から, 2つの異なる系に対する物質・放射相互作用プロセスについて検討した。
論文参考訳（メタデータ） (2021-03-16T09:31:20Z)
Machine-learning semi-local density functional theory for many-body lattice models at zero and finite temperature [0.0]
本研究では,スピンレスハバードモデルに対して,ゼロ温度と有限温度の両方で1次元の機械学習密度関数式を導入する。ゼロ温度の場合、これはサイト占有と全エネルギーの1対1の関係を確立する。有限温度では、ヘルムホルツ自由エネルギーと平衡部位の占有との間に同じ関係が定義される。
論文参考訳（メタデータ） (2021-03-09T15:53:40Z)
Watch and learn -- a generalized approach for transferrable learning in deep neural networks via physical principles [0.0]
本研究では,物理状態の異なる統計物理学における問題に対して,完全に伝達可能な学習を実現するための教師なし学習手法を実証する。逐次ニューラルネットワークに基づくシーケンスモデルを広範囲のディープニューラルネットワークに結合することにより、古典的な統計力学系の平衡確率分布と粒子間相互作用モデルを学ぶことができる。
論文参考訳（メタデータ） (2020-03-03T18:37:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。