論文の概要: Stochastic Thermodynamics of Learning Generative Models

• arxiv url: http://arxiv.org/abs/2310.19802v3
• Date: Tue, 7 Nov 2023 21:32:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 18:33:29.334475
• Title: Stochastic Thermodynamics of Learning Generative Models
• Title（参考訳）: 学習生成モデルの確率的熱力学
• Authors: Shervin Sadat Parsi
• Abstract要約: パラメトリック確率モデル(PPM)の時間進化として生成機械学習問題を定式化した。 我々は,モデルパラメータ間の熱力学的交換を$Theta$と表現し,モデルが生成したサンプルを$X$と表現した。 以上の結果から, モデルがX$生成時の熱散逸から学習し, モデルパラメータのエントロピーが増加することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We have formulated generative machine learning problems as the time evolution of Parametric Probabilistic Models (PPMs), inherently rendering a thermodynamic process. Then, we have studied the thermodynamic exchange between the model's parameters, denoted as $\Theta$, and the model's generated samples, denoted as $X$. We demonstrate that the training dataset and the action of the Stochastic Gradient Descent (SGD) optimizer serve as a work source that governs the time evolution of these two subsystems. Our findings reveal that the model learns through the dissipation of heat during the generation of samples $X$, leading to an increase in the entropy of the model's parameters, $\Theta$. Thus, the parameter subsystem acts as a heat reservoir, effectively storing the learned information. Furthermore, the role of the model's parameters as a heat reservoir provides valuable thermodynamic insights into the generalization power of over-parameterized models. This approach offers an unambiguous framework for computing information-theoretic quantities within deterministic neural networks by establishing connections with thermodynamic variables. To illustrate the utility of this framework, we introduce two information-theoretic metrics: Memorized-information (M-info) and Learned-information (L-info), which trace the dynamic flow of information during the learning process of PPMs.
• Abstract（参考訳）: 我々はPPM(Parametric Probabilistic Models)の時間進化として生成機械学習問題を定式化した。 次に,モデルパラメータ間の熱力学的交換($\Theta$)とモデル生成サンプル($X$)について検討した。 学習データセットとSGD(Stochastic Gradient Descent)オプティマイザの動作が,これら2つのサブシステムの時間的進化を管理する作業源であることを示す。 以上の結果から, モデルがX$生成時の熱散逸から学習し, モデルパラメータのエントロピーが増加することが示唆された。 したがって、パラメータサブシステムは、学習した情報を効果的に保存する熱貯水池として機能する。 さらに、熱貯水池としてのモデルのパラメータの役割は、過剰パラメータモデルの一般化力に関する貴重な熱力学的洞察を提供する。 このアプローチは、熱力学変数との接続を確立することにより、決定論的ニューラルネットワーク内の情報理論量を計算するための曖昧なフレームワークを提供する。 本フレームワークの有用性を説明するために,記憶情報(M-info)と学習情報(L-info)の2つの情報理論指標を導入する。

関連論文リスト

• Model-free quantification of completeness, uncertainties, and outliers in atomistic machine learning using information theory [4.59916193837551]
  原子論的機械学習(ML)は、情報内容を分析するために教師なし学習やモデル予測に依存していることが多い。 本稿では、原子論シミュレーションにおける情報内容の定量化のための厳密なモデルフリーツールを提供する理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-18T17:50:15Z)
• Reward Shaping via Diffusion Process in Reinforcement Learning [1.0878040851638]
  熱力学とシステム力学の原理を利用して、拡散過程による報酬形成を探求する。 本稿では,情報エントロピー,システムダイナミクス,およびそれらがエントロピー生産に与える影響について光を当てる。
  論文  参考訳（メタデータ） (2023-06-20T20:58:33Z)
• A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis [128.0532113800092]
  算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。 これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
  論文  参考訳（メタデータ） (2023-05-24T11:43:47Z)
• Prediction of liquid fuel properties using machine learning models with Gaussian processes and probabilistic conditional generative learning [56.67751936864119]
  本研究の目的は、代替燃料の物理的特性を予測するためのクロージャ方程式として機能する、安価で計算可能な機械学習モデルを構築することである。 これらのモデルは、MDシミュレーションのデータベースや、データ融合-忠実性アプローチによる実験的な測定を用いて訓練することができる。 その結果,MLモデルでは,広範囲の圧力および温度条件の燃料特性を正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2021-10-18T14:43:50Z)
• Meta-learning using privileged information for dynamics [66.32254395574994]
  Neural ODE Processモデルを拡張して、Learning Using Privileged Information設定内の追加情報を使用します。 シミュレーション動的タスクの精度とキャリブレーションを向上した実験により拡張性を検証する。
  論文  参考訳（メタデータ） (2021-04-29T12:18:02Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Using machine-learning modelling to understand macroscopic dynamics in a system of coupled maps [0.0]
  本稿では,グローバルに結合した地図システムから生じるマクロな動きについて考察する。 我々は、機械学習アプローチと粗粒度プロセスの遷移確率の直接数値計算の両方を用いて、マクロ力学のための粗粒度マルコフプロセスを構築した。 我々は,アトラクタの有効次元,メモリ効果の持続性,ダイナミクスのマルチスケール構造について重要な情報を推測することができる。
  論文  参考訳（メタデータ） (2020-11-08T15:38:12Z)
• Learning Manifold Implicitly via Explicit Heat-Kernel Learning [63.354671267760516]
  そこで,本研究では,熱カーネルを学習することで,多様体情報を暗黙的に取得する,暗黙的多様体学習の概念を提案する。 学習した熱カーネルは、データ生成のための深層生成モデル(DGM)やベイズ推論のためのスタイン変分勾配Descentなど、さまざまなカーネルベースの機械学習モデルに適用することができる。
  論文  参考訳（メタデータ） (2020-10-05T03:39:58Z)
• Learning Dynamical Systems with Side Information [2.28438857884398]
  いくつかの軌跡のノイズ観測から力学系を学習するための枠組みを提案する。 多くのアプリケーションで自然に発生する6種類のサイド情報を識別する。 本研究では,物理・細胞生物学における基礎モデルの力学を学習するための側面情報の付加価値と,疫学におけるモデルの力学の学習と制御について述べる。
  論文  参考訳（メタデータ） (2020-08-23T23:30:48Z)
• Physics-informed machine learning for composition-process-property alloy design: shape memory alloy demonstration [0.0]
  機械学習(ML)は、高次元多目的設計空間において、新しい合金とその性能を予測する。 物理インフォームドされた特徴のあるエンジニアリングアプローチは、さもなくばパフォーマンスの悪いMLモデルを同じデータで正常に動作させることを可能にします。
  論文  参考訳（メタデータ） (2020-03-04T03:53:55Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。