論文の概要: Language models as master equation solvers
- arxiv url: http://arxiv.org/abs/2308.02514v1
- Date: Sat, 29 Jul 2023 08:59:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-14 01:19:47.618683
- Title: Language models as master equation solvers
- Title(参考訳): マスター方程式解法としての言語モデル
- Authors: Chuanbo Liu and Jin Wang
- Abstract要約: 本稿では,マスタ方程式を解くための機械学習手法として,言語モデルの再利用を提案する。
我々は,確率パラメータ,初期条件,時間値を直接状態結合確率分布にマッピングするプロンプトベースニューラルネットワークを設計する。
強化学習フレームワーク内のポリシ勾配アルゴリズムを用いてネットワークをトレーニングし,一連の変動自己回帰モデルから得られるフィードバックの報奨を与える。
- 参考スコア(独自算出の注目度): 3.658164271285286
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Master equations are of fundamental importance in modeling stochastic
dynamical systems.However, solving master equations is challenging due to the
exponential increase in the number of possible states or trajectories with the
dimension of the state space. In this study, we propose repurposing language
models as a machine learning approach to solve master equations. We design a
prompt-based neural network to map rate parameters, initial conditions, and
time values directly to the state joint probability distribution that exactly
matches the input contexts. In this way, we approximate the solution of the
master equation in its most general form. We train the network using the policy
gradient algorithm within the reinforcement learning framework, with feedback
rewards provided by a set of variational autoregressive models. By applying
this approach to representative examples, we observe high accuracy for both
multi-module and high-dimensional systems. The trained network also exhibits
extrapolating ability, extending its predictability to unseen data. Our
findings establish the connection between language models and master equations,
highlighting the possibility of using a single pretrained large model to solve
any master equation.
- Abstract(参考訳): マスター方程式は確率力学系のモデリングにおいて基本的重要性を持つが、状態空間の次元を持つ状態や軌道の数の増加によりマスター方程式を解くことは困難である。
本研究では,マスター方程式を解くための機械学習手法として,言語モデルの再構築を提案する。
我々は、入力コンテキストと正確に一致する状態結合確率分布に直接、レートパラメータ、初期条件、時間値をマッピングするプロンプトベースのニューラルネットワークを設計する。
このようにして、マスター方程式の解を最も一般的な形に近似する。
本稿では,強化学習フレームワーク内でポリシ勾配アルゴリズムを用いてネットワークをトレーニングし,変動型自己回帰モデルによるフィードバック報酬を与える。
本手法を代表例に適用することにより,多元系および高次元系の高精度な観測を行う。
トレーニングされたネットワークはまた、外挿能力を示し、予測可能性を未確認データにまで拡張する。
本研究は, 言語モデルとマスター方程式の関連を立証し, 事前学習された1つの大規模モデルを用いてマスター方程式を解く可能性を強調した。
関連論文リスト
- Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。
このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。
得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文 参考訳(メタデータ) (2024-10-28T13:48:43Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2~3倍の高速化を実現した。
論文 参考訳(メタデータ) (2024-07-22T18:00:00Z) - FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model [5.748690310135373]
我々は、人間設計モデルとデータ駆動モデルとのギャップを埋めるために、textbfFMintという新しいマルチモーダル基盤モデルを提案する。
FMintは、インコンテキスト学習を備えたデコーダのみのトランスフォーマーアーキテクチャに基づいて、数値データとテキストデータの両方を用いて、普遍的なエラー訂正スキームを学習する。
本研究は,従来の数値解法と比較して,精度と効率の両面から提案モデルの有効性を実証するものである。
論文 参考訳(メタデータ) (2024-04-23T02:36:47Z) - Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks [0.0]
モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。
回帰,分類,特徴選択タスクの数値実験を行った。
その結果,提案モデルが競合モデルに比べて魅力的な予測性能が得られるだけでなく,予測性能も向上することが示唆された。
論文 参考訳(メタデータ) (2023-07-11T09:54:30Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-28T12:02:27Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Stretched and measured neural predictions of complex network dynamics [2.1024950052120417]
微分方程式のデータ駆動近似は、力学系のモデルを明らかにする従来の方法に代わる有望な方法である。
最近、ダイナミックスを研究する機械学習ツールとしてニューラルネットワークが採用されている。これは、データ駆動型ソリューションの検出や微分方程式の発見に使用できる。
従来の統計学習理論の限界を超えてモデルの一般化可能性を拡張することは可能であることを示す。
論文 参考訳(メタデータ) (2023-01-12T09:44:59Z) - Characterizing and overcoming the greedy nature of learning in
multi-modal deep neural networks [62.48782506095565]
深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。
本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
論文 参考訳(メタデータ) (2022-02-10T20:11:21Z) - A Probabilistic State Space Model for Joint Inference from Differential
Equations and Data [23.449725313605835]
ベイズフィルタを用いて解過程を直接句する常微分方程式 (odes) の解法の新しいクラスを示す。
その後、拡張カルマンフィルタの単一の線形複雑化パスにおいて、潜力とODE溶液のベイズ推定を近似することができるようになる。
本研究では,covid-19流行データに基づく非パラメトリックsirdモデルを訓練することにより,アルゴリズムの表現力と性能を示す。
論文 参考訳(メタデータ) (2021-03-18T10:36:09Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。
我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。
これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文 参考訳(メタデータ) (2020-02-25T10:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。