論文の概要: Predictability Enables Parallelization of Nonlinear State Space Models

• arxiv url: http://arxiv.org/abs/2508.16817v1
• Date: Fri, 22 Aug 2025 22:27:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.190712
• Title: Predictability Enables Parallelization of Nonlinear State Space Models
• Title（参考訳）: 非線形状態空間モデルの並列化を可能にする予測可能性
• Authors: Xavier Gonzalez, Leo Kozachkov, David M. Zoltowski, Kenneth L. Clarkson, Scott W. Linderman,
• Abstract要約: 非線形系の力学とそれに対応する最適化定式化の条件付けとの正確な関係を確立する。 状態変動が将来の行動に影響を及ぼす度合いとして定義されるシステムの予測可能性が,評価に必要な最適化ステップの数に影響を与えることを示す。
• 参考スコア（独自算出の注目度）: 14.40958116079456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise of parallel computing hardware has made it increasingly important to understand which nonlinear state space models can be efficiently parallelized. Recent advances like DEER (arXiv:2309.12252) or DeepPCR (arXiv:2309.16318) have shown that evaluating a state space model can be recast as solving a parallelizable optimization problem, and sometimes this approach can yield dramatic speed-ups in evaluation time. However, the factors that govern the difficulty of these optimization problems remain unclear, limiting the larger adoption of the technique. In this work, we establish a precise relationship between the dynamics of a nonlinear system and the conditioning of its corresponding optimization formulation. We show that the predictability of a system, defined as the degree to which small perturbations in state influence future behavior, impacts the number of optimization steps required for evaluation. In predictable systems, the state trajectory can be computed in $O((\log T)^2)$ time, where $T$ is the sequence length, a major improvement over the conventional sequential approach. In contrast, chaotic or unpredictable systems exhibit poor conditioning, with the consequence that parallel evaluation converges too slowly to be useful. Importantly, our theoretical analysis demonstrates that for predictable systems, the optimization problem is always well-conditioned, whereas for unpredictable systems, the conditioning degrades exponentially as a function of the sequence length. We validate our claims through extensive experiments, providing practical guidance on when nonlinear dynamical systems can be efficiently parallelized, and highlighting predictability as a key design principle for parallelizable models.
• Abstract（参考訳）: 並列コンピューティングハードウェアの台頭により、どの非線形状態空間モデルを効率的に並列化できるかを理解することがますます重要になっている。 DEER (arXiv:2309.12252) やDeepPCR (arXiv:2309.16318) のような最近の進歩は、状態空間モデルの評価を並列化可能な最適化問題の解決として再キャストできることを示した。 しかし、これらの最適化問題の難しさを左右する要因はいまだ不明であり、この手法の採用は限られている。 本研究では,非線形系の力学とそれに対応する最適化の条件付けとの正確な関係を確立する。 状態変動が将来の行動に影響を及ぼす度合いとして定義されるシステムの予測可能性が,評価に必要な最適化ステップの数に影響を与えることを示す。 予測可能なシステムでは、状態軌道は$O((\log T)^2)$ timeで計算できる。 対照的に、カオス的あるいは予測不能なシステムでは条件付けが貧弱であり、結果として並列評価があまりにゆっくり収束しすぎるため有用である。 重要なことは、予測可能なシステムでは、最適化問題は常によく条件付けされているのに対して、予測不可能なシステムでは、条件付けはシーケンス長の関数として指数関数的に低下することを示している。 本研究では, 非線形力学系を効率よく並列化する方法についての実践的なガイダンスを提供し, 並列化可能なモデルの設計原理として予測可能性を強調した。

関連論文リスト

• Inference Acceleration of Autoregressive Normalizing Flows by Selective Jacobi Decoding [12.338918067455436]
  正規化フローは、理論的厳密性、分析的対数類似性、エンドツーエンドトレーニングなどの利点を持つ有望な生成モデルである。 近年の進歩は自己回帰モデリングを活用し、表現力と生成品質を大幅に向上させた。 並列反復最適化により自己回帰推論を高速化する選択的ヤコビ復号法(SeJD)を提案する。
  論文  参考訳（メタデータ） (2025-05-30T16:53:15Z)
• Efficient Transformed Gaussian Process State-Space Models for Non-Stationary High-Dimensional Dynamical Systems [49.819436680336786]
  本研究では,高次元非定常力学系のスケーラブルかつ柔軟なモデリングのための効率的な変換ガウス過程状態空間モデル(ETGPSSM)を提案する。 具体的には、ETGPSSMは、単一の共有GPと入力依存の正規化フローを統合し、複雑な非定常遷移ダイナミクスを捉える前に、表現的な暗黙のプロセスを生成する。 ETGPSSMは、計算効率と精度の観点から、既存のGPSSMとニューラルネットワークベースのSSMより優れています。
  論文  参考訳（メタデータ） (2025-03-24T03:19:45Z)
• PROMISE: Preconditioned Stochastic Optimization Methods by Incorporating Scalable Curvature Estimates [17.777466668123886]
  PROMISE ($textbfPr$econditioned $textbfO$ptimization $textbfM$ethods by $textbfI$ncorporating $textbfS$calable Curvature $textbfE$stimates)はスケッチベースの事前条件勾配アルゴリズムである。 PROMISEには、SVRG、SAGA、およびKatyushaのプレコンディション版が含まれている。
  論文  参考訳（メタデータ） (2023-09-05T07:49:10Z)
• Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
  本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。 提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
  論文  参考訳（メタデータ） (2021-12-02T16:04:40Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)
• Loss landscapes and optimization in over-parameterized non-linear systems and neural networks [20.44438519046223]
  広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。 広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。
  論文  参考訳（メタデータ） (2020-02-29T17:18:28Z)
• Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem [27.09339991866556]
  本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。 我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2019-12-26T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。