論文の概要: Language models as master equation solvers
- arxiv url: http://arxiv.org/abs/2308.02514v2
- Date: Sat, 24 Feb 2024 16:48:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 19:28:13.096818
- Title: Language models as master equation solvers
- Title(参考訳): マスター方程式解法としての言語モデル
- Authors: Chuanbo Liu and Jin Wang
- Abstract要約: 本稿では,マスタ方程式を解くための機械学習手法として,言語モデルの再利用を提案する。
我々は,確率パラメータ,初期条件,時間値を直接状態結合確率分布にマッピングするプロンプトベースニューラルネットワークを設計する。
強化学習フレームワーク内のポリシ勾配アルゴリズムを用いてネットワークをトレーニングし,一連の変動自己回帰モデルから得られるフィードバックの報奨を与える。
- 参考スコア(独自算出の注目度): 4.53216122219986
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Master equations are of fundamental importance in modeling stochastic
dynamical systems.However, solving master equations is challenging due to the
exponential increase in the number of possible states or trajectories with the
dimension of the state space. In this study, we propose repurposing language
models as a machine learning approach to solve master equations. We design a
prompt-based neural network to map rate parameters, initial conditions, and
time values directly to the state joint probability distribution that exactly
matches the input contexts. In this way, we approximate the solution of the
master equation in its most general form. We train the network using the policy
gradient algorithm within the reinforcement learning framework, with feedback
rewards provided by a set of variational autoregressive models. By applying
this approach to representative examples, we observe high accuracy for both
multi-module and high-dimensional systems. The trained network also exhibits
extrapolating ability, extending its predictability to unseen data. Our
findings establish the connection between language models and master equations,
highlighting the possibility of using a single pretrained large model to solve
any master equation.
- Abstract(参考訳): マスター方程式は確率力学系のモデリングにおいて基本的重要性を持つが、状態空間の次元を持つ状態や軌道の数の増加によりマスター方程式を解くことは困難である。
本研究では,マスター方程式を解くための機械学習手法として,言語モデルの再構築を提案する。
我々は、入力コンテキストと正確に一致する状態結合確率分布に直接、レートパラメータ、初期条件、時間値をマッピングするプロンプトベースのニューラルネットワークを設計する。
このようにして、マスター方程式の解を最も一般的な形に近似する。
本稿では,強化学習フレームワーク内でポリシ勾配アルゴリズムを用いてネットワークをトレーニングし,変動型自己回帰モデルによるフィードバック報酬を与える。
本手法を代表例に適用することにより,多元系および高次元系の高精度な観測を行う。
トレーニングされたネットワークはまた、外挿能力を示し、予測可能性を未確認データにまで拡張する。
本研究は, 言語モデルとマスター方程式の関連を立証し, 事前学習された1つの大規模モデルを用いてマスター方程式を解く可能性を強調した。
関連論文リスト
- HyperSINDy: Deep Generative Modeling of Nonlinear Stochastic Governing
Equations [5.279268784803583]
本稿では,データからのスパース制御方程式の深部生成モデルを用いた動的モデリングフレームワークHyperSINDyを紹介する。
一度訓練すると、HyperSINDyは、係数が白色雑音によって駆動される微分方程式を介して力学を生成する。
実験では、HyperSINDyはデータと一致するように学習度をスケーリングすることで、基底的真理支配方程式を復元する。
論文 参考訳(メタデータ) (2023-10-07T14:41:59Z) - Learning Active Subspaces and Discovering Important Features with
Gaussian Radial Basis Functions Neural Networks [1.7403133838762443]
モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。
同時に固有ベクトルは入力と潜伏変数の絶対的な変動の観点から関係を強調する。
本結果は,提案モデルが競合相手に対して魅力的な予測性能を与えるだけでなく,有意義かつ解釈可能な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2023-07-11T09:54:30Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-28T12:02:27Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Stretched and measured neural predictions of complex network dynamics [2.1024950052120417]
微分方程式のデータ駆動近似は、力学系のモデルを明らかにする従来の方法に代わる有望な方法である。
最近、ダイナミックスを研究する機械学習ツールとしてニューラルネットワークが採用されている。これは、データ駆動型ソリューションの検出や微分方程式の発見に使用できる。
従来の統計学習理論の限界を超えてモデルの一般化可能性を拡張することは可能であることを示す。
論文 参考訳(メタデータ) (2023-01-12T09:44:59Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-02-18T22:41:51Z) - Characterizing and overcoming the greedy nature of learning in
multi-modal deep neural networks [62.48782506095565]
深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。
本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
論文 参考訳(メタデータ) (2022-02-10T20:11:21Z) - A Probabilistic State Space Model for Joint Inference from Differential
Equations and Data [23.449725313605835]
ベイズフィルタを用いて解過程を直接句する常微分方程式 (odes) の解法の新しいクラスを示す。
その後、拡張カルマンフィルタの単一の線形複雑化パスにおいて、潜力とODE溶液のベイズ推定を近似することができるようになる。
本研究では,covid-19流行データに基づく非パラメトリックsirdモデルを訓練することにより,アルゴリズムの表現力と性能を示す。
論文 参考訳(メタデータ) (2021-03-18T10:36:09Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。
本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。
このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
論文 参考訳(メタデータ) (2020-09-29T12:50:33Z) - Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。
我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。
これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文 参考訳(メタデータ) (2020-02-25T10:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。