論文の概要: Deep Learning for Markov Chains: Lyapunov Functions, Poisson's Equation, and Stationary Distributions

• arxiv url: http://arxiv.org/abs/2508.16737v1
• Date: Fri, 22 Aug 2025 18:24:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.152337
• Title: Deep Learning for Markov Chains: Lyapunov Functions, Poisson's Equation, and Stationary Distributions
• Title（参考訳）: マルコフ連鎖の深層学習:リャプノフ関数、ポアソン方程式、定常分布
• Authors: Yanlin Qu, Jose Blanchet, Peter Glynn,
• Abstract要約: ニューラルネットワークを学習して積分方程式を満足させることにより,Lyapunov関数の構成を自動化することができることを示す。 我々の手法はポアソン方程式の解法と定常分布の推定に適応することができる。
• 参考スコア（独自算出の注目度）: 1.7699991125484107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lyapunov functions are fundamental to establishing the stability of Markovian models, yet their construction typically demands substantial creativity and analytical effort. In this paper, we show that deep learning can automate this process by training neural networks to satisfy integral equations derived from first-transition analysis. Beyond stability analysis, our approach can be adapted to solve Poisson's equation and estimate stationary distributions. While neural networks are inherently function approximators on compact domains, it turns out that our approach remains effective when applied to Markov chains on non-compact state spaces. We demonstrate the effectiveness of this methodology through several examples from queueing theory and beyond.
• Abstract（参考訳）: リャプノフ函数はマルコフ模型の安定性を確立するのに基本的であるが、その構成は通常、実質的な創造性と解析的努力を必要とする。 本稿では,ニューラルネットワークをトレーニングし,第1次遷移解析から導出した積分方程式を満たすことによって,ディープラーニングがこのプロセスを自動化することを示す。 安定性解析以外にも,ポアソン方程式の解法や定常分布の推定にも応用できる。 ニューラルネットワークは本質的にコンパクトなドメイン上の関数近似器であるが、非コンパクトな状態空間上のマルコフ連鎖に適用した場合、我々のアプローチは有効であることが判明した。 本稿では、待ち行列理論などによるいくつかの例を通して、この方法論の有効性を実証する。

関連論文リスト

• Latent Guided Sampling for Combinatorial Optimization [3.636090511738153]
  最近の組合せ最適化手法は、深層学習を利用して解法戦略を学習し、監視学習または強化学習(RL)を通して訓練されている。 有望ではあるが、これらのアプローチは多くの場合、タスク固有の拡張に依存し、配布外のインスタンスではパフォーマンスが悪く、堅牢な推論機構が欠如している。 本稿では,効率的な問題インスタンスを条件づけた新しい潜在空間モデルLGS-Netを提案するとともに,効率的なニューラル推論手法であるLatent Guided Sampling(LGS)を提案する。
  論文  参考訳（メタデータ） (2025-06-04T08:02:59Z)
• Uncertainty quantification for Markov chains with application to temporal difference learning [63.49764856675643]
  マルコフ連鎖のベクトル値および行列値関数に対する新しい高次元濃度不等式とベリー・エッシー境界を開発する。 我々は、強化学習における政策評価に広く用いられているTD学習アルゴリズムを解析する。
  論文  参考訳（メタデータ） (2025-02-19T15:33:55Z)
• Stochastic Process Learning via Operator Flow Matching [12.275587079383603]
  我々は関数空間上でのプロセスの事前学習のための演算子フローマッチング(OFM)を開発した。 OFM は任意の点集合の値の確率密度を与える。 本手法は, プロセス学習, 機能回帰, 事前学習における最先端モデルより優れている。
  論文  参考訳（メタデータ） (2025-01-07T20:12:56Z)
• Symplectic Neural Flows for Modeling and Discovery [9.786274281068815]
  SympFlowはパラメータ化ハミルトンフローマップを用いて設計された時間依存型シンプレクティックニューラルネットワークである。 後ろ向きのエラー解析を可能にし、シンプレクティック構造を確実に保存する。 カオス的・散逸的システムを含む多種多様な問題に対するSympFlowの有効性を実証する。
  論文  参考訳（メタデータ） (2024-12-21T22:02:00Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Reachability analysis in stochastic directed graphs by reinforcement learning [67.87998628083218]
  マルコフグラフにおける遷移確率のダイナミクスは差分包摂によってモデル化できることを示す。 我々は、ノードの集合の到達可能性確率の上限と下限を提供するために、報酬関数を設計する方法論を提供する。
  論文  参考訳（メタデータ） (2022-02-25T08:20:43Z)
• Variational Inference for Continuous-Time Switching Dynamical Systems [29.984955043675157]
  従属拡散過程を変調したマルコフジャンプ過程に基づくモデルを提案する。 我々は,新しい連続時間変動推定アルゴリズムを開発した。 モデル仮定と実世界の実例に基づいて,我々のアルゴリズムを広範囲に評価する。
  論文  参考訳（メタデータ） (2021-09-29T15:19:51Z)
• ImitationFlow: Learning Deep Stable Stochastic Dynamic Systems by Normalizing Flows [29.310742141970394]
  我々は,世界規模で安定な非線形力学を学習できる新しいDeep生成モデルであるImitationFlowを紹介した。 提案手法の有効性を,標準データセットと実ロボット実験の両方で示す。
  論文  参考訳（メタデータ） (2020-10-25T14:49:46Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)
• Formal Synthesis of Lyapunov Neural Networks [61.79595926825511]
  本稿では,リアプノフ関数の自動合成法を提案する。 我々は,数値学習者と記号検証器が相互作用して,確実に正しいリアプノフニューラルネットワークを構築する,反例誘導方式を採用する。 提案手法は,Lyapunov関数を他の手法よりも高速かつ広い空間領域で合成する。
  論文  参考訳（メタデータ） (2020-03-19T17:21:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。