Fugu-MT 論文翻訳(概要): Stochastic Thermodynamics of Learning Parametric Probabilistic Models

論文の概要: Stochastic Thermodynamics of Learning Parametric Probabilistic Models

arxiv url: http://arxiv.org/abs/2310.19802v4
Date: Sun, 7 Jan 2024 16:44:52 GMT
ステータス: 処理完了
システム内更新日: 2024-01-09 22:38:16.875464
Title: Stochastic Thermodynamics of Learning Parametric Probabilistic Models
Title（参考訳）: 学習パラメトリック確率モデルの確率的熱力学
Authors: Shervin Sadat Parsi
Abstract要約: 本稿では,PPM(Parametric Probabilistic Models)の学習過程における情報の流れを追跡する,記憶情報(M-info)と学習情報(L-info)の2つの情報理論指標を紹介する。本研究では,学習過程におけるL-infoの蓄積がエントロピー生成と関連し,パラメータが熱貯水池として機能し,M-infoの形で学習情報を収集することを示した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We have formulated a family of machine learning problems as the time evolution of Parametric Probabilistic Models (PPMs), inherently rendering a thermodynamic process. Our primary motivation is to leverage the rich toolbox of thermodynamics of information to assess the information-theoretic content of learning a probabilistic model. We first introduce two information-theoretic metrics: Memorized-information (M-info) and Learned-information (L-info), which trace the flow of information during the learning process of PPMs. Then, we demonstrate that the accumulation of L-info during the learning process is associated with entropy production, and parameters serve as a heat reservoir in this process, capturing learned information in the form of M-info.
Abstract（参考訳）: 我々は,PPM(Parametric Probabilistic Models)の時間進化として,本質的には熱力学過程を描画する機械学習問題を定式化した。我々の主な動機は、情報の熱力学の豊富なツールボックスを活用し、確率モデルを学ぶ際の情報理論の内容を評価することである。まず,記憶情報(m-info)と学習情報(l-info)の2つの情報理論指標を導入し,ppmの学習過程における情報の流れを追跡する。そして,学習過程におけるL-infoの蓄積がエントロピー生成と関連し,パラメータが熱貯水池として機能し,M-infoの形で学習情報を収集することを示した。

関連論文リスト

Model-free quantification of completeness, uncertainties, and outliers in atomistic machine learning using information theory [4.59916193837551]
原子論的機械学習(ML)は、情報内容を分析するために教師なし学習やモデル予測に依存していることが多い。本稿では、原子論シミュレーションにおける情報内容の定量化のための厳密なモデルフリーツールを提供する理論的枠組みを提案する。
論文参考訳（メタデータ） (2024-04-18T17:50:15Z)
Reward Shaping via Diffusion Process in Reinforcement Learning [1.0878040851638]
熱力学とシステム力学の原理を利用して、拡散過程による報酬形成を探求する。本稿では,情報エントロピー,システムダイナミクス,およびそれらがエントロピー生産に与える影響について光を当てる。
論文参考訳（メタデータ） (2023-06-20T20:58:33Z)
A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis [128.0532113800092]
算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
論文参考訳（メタデータ） (2023-05-24T11:43:47Z)
Prediction of liquid fuel properties using machine learning models with Gaussian processes and probabilistic conditional generative learning [56.67751936864119]
本研究の目的は、代替燃料の物理的特性を予測するためのクロージャ方程式として機能する、安価で計算可能な機械学習モデルを構築することである。これらのモデルは、MDシミュレーションのデータベースや、データ融合-忠実性アプローチによる実験的な測定を用いて訓練することができる。その結果,MLモデルでは,広範囲の圧力および温度条件の燃料特性を正確に予測できることがわかった。
論文参考訳（メタデータ） (2021-10-18T14:43:50Z)
Meta-learning using privileged information for dynamics [66.32254395574994]
Neural ODE Processモデルを拡張して、Learning Using Privileged Information設定内の追加情報を使用します。シミュレーション動的タスクの精度とキャリブレーションを向上した実験により拡張性を検証する。
論文参考訳（メタデータ） (2021-04-29T12:18:02Z)
Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文参考訳（メタデータ） (2021-02-15T19:56:48Z)
Using machine-learning modelling to understand macroscopic dynamics in a system of coupled maps [0.0]
本稿では,グローバルに結合した地図システムから生じるマクロな動きについて考察する。我々は、機械学習アプローチと粗粒度プロセスの遷移確率の直接数値計算の両方を用いて、マクロ力学のための粗粒度マルコフプロセスを構築した。我々は,アトラクタの有効次元,メモリ効果の持続性,ダイナミクスのマルチスケール構造について重要な情報を推測することができる。
論文参考訳（メタデータ） (2020-11-08T15:38:12Z)
Learning Manifold Implicitly via Explicit Heat-Kernel Learning [63.354671267760516]
そこで,本研究では,熱カーネルを学習することで,多様体情報を暗黙的に取得する,暗黙的多様体学習の概念を提案する。学習した熱カーネルは、データ生成のための深層生成モデル(DGM)やベイズ推論のためのスタイン変分勾配Descentなど、さまざまなカーネルベースの機械学習モデルに適用することができる。
論文参考訳（メタデータ） (2020-10-05T03:39:58Z)
Learning Dynamical Systems with Side Information [2.28438857884398]
いくつかの軌跡のノイズ観測から力学系を学習するための枠組みを提案する。多くのアプリケーションで自然に発生する6種類のサイド情報を識別する。本研究では,物理・細胞生物学における基礎モデルの力学を学習するための側面情報の付加価値と,疫学におけるモデルの力学の学習と制御について述べる。
論文参考訳（メタデータ） (2020-08-23T23:30:48Z)
Physics-informed machine learning for composition-process-property alloy design: shape memory alloy demonstration [0.0]
機械学習(ML)は、高次元多目的設計空間において、新しい合金とその性能を予測する。物理インフォームドされた特徴のあるエンジニアリングアプローチは、さもなくばパフォーマンスの悪いMLモデルを同じデータで正常に動作させることを可能にします。
論文参考訳（メタデータ） (2020-03-04T03:53:55Z)
A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。