論文の概要: Solving nonconvex Hamilton--Jacobi--Isaacs equations with PINN-based policy iteration
- arxiv url: http://arxiv.org/abs/2507.15455v2
- Date: Wed, 23 Jul 2025 10:44:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 12:00:05.666549
- Title: Solving nonconvex Hamilton--Jacobi--Isaacs equations with PINN-based policy iteration
- Title（参考訳）: PINNに基づく政策反復による非凸ハミルトン-ヤコビ-イザック方程式の解法
- Authors: Hee Jun Yang, Minjung Gim, Yeoneung Kim,
- Abstract要約: 本稿では,従来の動的プログラミングとニューラルネットワーク(PINN)を組み合わせて,非加入者ハミルトン・ヤコビ・イザック方程式を解くフレームワークを提案する。
この結果から,PINNを政策ポリシーに統合することは,高次元非加入者HJI方程式の解法として,実用的で理論的に確立された手法であることが示唆された。
- 参考スコア（独自算出の注目度）: 1.3654846342364308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a mesh-free policy iteration framework that combines classical dynamic programming with physics-informed neural networks (PINNs) to solve high-dimensional, nonconvex Hamilton--Jacobi--Isaacs (HJI) equations arising in stochastic differential games and robust control. The method alternates between solving linear second-order PDEs under fixed feedback policies and updating the controls via pointwise minimax optimization using automatic differentiation. Under standard Lipschitz and uniform ellipticity assumptions, we prove that the value function iterates converge locally uniformly to the unique viscosity solution of the HJI equation. The analysis establishes equi-Lipschitz regularity of the iterates, enabling provable stability and convergence without requiring convexity of the Hamiltonian. Numerical experiments demonstrate the accuracy and scalability of the method. In a two-dimensional stochastic path-planning game with a moving obstacle, our method matches finite-difference benchmarks with relative $L^2$-errors below %10^{-2}%. In five- and ten-dimensional publisher-subscriber differential games with anisotropic noise, the proposed approach consistently outperforms direct PINN solvers, yielding smoother value functions and lower residuals. Our results suggest that integrating PINNs with policy iteration is a practical and theoretically grounded method for solving high-dimensional, nonconvex HJI equations, with potential applications in robotics, finance, and multi-agent reinforcement learning.
- Abstract（参考訳）: 本稿では,古典的動的プログラミングと物理インフォームドニューラルネットワーク(PINN)を組み合わせて,確率微分ゲームとロバスト制御で生じる高次元非凸ハミルトン-ヤコビ-イザック方程式を解くメッシュフリーポリシー反復フレームワークを提案する。
この手法は、固定されたフィードバックポリシーの下で線形二階PDEを解くことと、自動微分を用いた極小最適化による制御の更新とを交互に行う。
標準リプシッツと一様楕円性仮定の下では、値関数が HJI 方程式の特異粘性解に局所的に一様収束することを証明している。
この分析は、イテレートの等リプシッツ正則性を確立し、ハミルトニアンの凸性を必要とせず、証明可能な安定性と収束を可能にする。
数値実験により,提案手法の精度と拡張性を実証した。
移動障害物を持つ2次元確率経路計画ゲームにおいて,本手法は有限差分ベンチマークと相対的な$L^2$-errorsを%10^{-2}%以下で一致させる。
異方性雑音を持つ5次元及び10次元のパブリッシャー・サブスクライバ差分ゲームにおいて、提案手法は直接PINNソルバよりも常に優れ、よりスムーズな値関数と低残差が得られる。
この結果から,PINNをポリシー反復に統合することは,高次元非凸HJI方程式の解法として,ロボット工学,ファイナンス,マルチエージェント強化学習に応用できる可能性が示唆された。
関連論文リスト
- Neural Policy Iteration for Stochastic Optimal Control: A Physics-Informed Approach [2.8988658640181826]
物理インフォームドニューラルネットワークポリシー反復フレームワーク(PINN-PI)を提案する。
各イテレーションにおいて、ニューラルネットワークは、固定ポリシーによって誘導される線形PDEの残余を最小限にして、値関数を近似するように訓練される。
提案手法は,最大10次元の勾配カートポール,振り子高次元線形二次規則(LQR)問題など,いくつかのベンチマーク問題に対する有効性を示す。
論文 参考訳（メタデータ） (2025-08-03T11:02:25Z) - Self-Supervised Coarsening of Unstructured Grid with Automatic Differentiation [55.88862563823878]
本研究では,微分可能物理の概念に基づいて,非構造格子を階層化するアルゴリズムを提案する。
多孔質媒質中のわずかに圧縮可能な流体流を制御した線形方程式と波動方程式の2つのPDE上でのアルゴリズムの性能を示す。
その結果,検討したシナリオでは,関心点におけるモデル変数のダイナミクスを保ちながら,格子点数を最大10倍に削減した。
論文 参考訳（メタデータ） (2025-07-24T11:02:13Z) - A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations [9.588717577573684]
偏微分方程式(PDE)を解くためのスケーラブルな事前条件付き原始ハイブリッド勾配アルゴリズムを提案する。
本稿では,提案手法の性能を,一般的なディープラーニングアルゴリズムと比較する。
その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。
論文 参考訳（メタデータ） (2024-11-09T20:39:10Z) - Solving Poisson Equations using Neural Walk-on-Spheres [80.1675792181381]
高次元ポアソン方程式の効率的な解法としてニューラルウォーク・オン・スフェース(NWoS)を提案する。
我々は,NWoSの精度,速度,計算コストにおける優位性を実証した。
論文 参考訳（メタデータ） (2024-06-05T17:59:22Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Enhancing Low-Order Discontinuous Galerkin Methods with Neural Ordinary Differential Equations for Compressible Navier--Stokes Equations [0.1578515540930834]
圧縮可能なNavier-Stokes方程式を解くためのエンドツーエンドの微分可能なフレームワークを提案する。
この統合アプローチは、微分可能不連続なガレルキン解法とニューラルネットワークのソース項を組み合わせる。
提案するフレームワークの性能を2つの例で示す。
論文 参考訳（メタデータ） (2023-10-29T04:26:23Z) - A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。
これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。
本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Constrained Optimization via Exact Augmented Lagrangian and Randomized
Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。
ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-28T06:33:37Z) - Deep Graphic FBSDEs for Opinion Dynamics Stochastic Control [27.38625075499457]
本稿では,動的・コスト関数における平均場項結合を用いた意見力学の最適制御問題の解法として,スケーラブルなディープラーニング手法を提案する。
提案したフレームワークは,超大規模問題に対する将来の応用の可能性を開く。
論文 参考訳（メタデータ） (2022-04-05T22:07:32Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳（メタデータ） (2022-02-07T17:47:46Z) - Numerical Solution of Stiff Ordinary Differential Equations with Random
Projection Neural Networks [0.0]
正規微分方程式(ODE)の解に対する乱射影ニューラルネットワーク(RPNN)に基づく数値スキームを提案する。
提案手法は剛性の影響を受けずに高い数値近似精度を示し,textttode45 と textttode15s の関数よりも優れていた。
論文 参考訳（メタデータ） (2021-08-03T15:49:17Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2021-03-15T17:26:34Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳（メタデータ） (2020-06-02T11:17:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。