論文の概要: A Unifying Framework for Parallelizing Sequential Models with Linear Dynamical Systems
- arxiv url: http://arxiv.org/abs/2509.21716v1
- Date: Fri, 26 Sep 2025 00:27:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:54.089594
- Title: A Unifying Framework for Parallelizing Sequential Models with Linear Dynamical Systems
- Title（参考訳）: 線形力学系を用いた逐次モデル並列化フレームワーク
- Authors: Xavier Gonzalez, E. Kelly Buchanan, Hyun Dong Lee, Jerry Weihong Liu, Ke Alexander Wang, David M. Zoltowski, Christopher Ré, Scott W. Linderman,
- Abstract要約: 固定点法を用いて逐次過程を並列に評価するためのいくつかの手法が提案されている。
これらの手法は線形力学系に基づく共通フレームワーク内で理解可能であることを示す。
この統一的な見解は、これらのテクニックの背後にある共通原則を強調し、特定の固定ポイントメソッドが最も効果的である可能性を明確にする。
- 参考スコア（独自算出の注目度）: 41.44667250045256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Harnessing parallelism in seemingly sequential models is a central challenge for modern machine learning. Several approaches have been proposed for evaluating sequential processes in parallel using fixed-point methods, like Newton, Picard, and Jacobi iterations. In this work, we show that these methods can be understood within a common framework based on linear dynamical systems (LDSs), where different iteration schemes arise naturally as approximate linearizations of a nonlinear recursion. This unifying view highlights shared principles behind these techniques and clarifies when particular fixed-point methods are most likely to be effective. By bridging diverse algorithms through the language of LDSs, our framework provides a clearer theoretical foundation for parallelizing sequential models and points toward new opportunities for efficient and scalable computation.
- Abstract（参考訳）: 一見シーケンシャルなモデルにおける並列性を損なうことは、現代の機械学習における中心的な課題である。
ニュートン、ピカール、ヤコビの反復のような固定点法を用いて逐次過程を並列に評価するためのいくつかの手法が提案されている。
本研究では, 線形力学系 (LDS) に基づく共通枠組みにおいて, 非線形再帰の近似線形化として, 異なる繰り返しスキームが自然に出現することを示す。
この統一的な見解は、これらのテクニックの背後にある共通原則を強調し、特定の固定ポイントメソッドが最も効果的である可能性を明確にする。
LDSの言語で多様なアルゴリズムをブリッジすることで、我々のフレームワークはシーケンシャルなモデルを並列化するためのより明確な理論的基盤を提供し、効率的でスケーラブルな計算の新たな機会を目指しています。
関連論文リスト
- A Parallelizable Approach for Characterizing NE in Zero-Sum Games After a Linear Number of Iterations of Gradient Descent [1.1970409518725493]
我々は,ゼロサムゲームに対するオンライン最適化手法について検討し,機械学習,経済学,その他多くの分野における対戦型学習の基本的問題である。
物理学におけるハミルトン力学に基づく新しい手法を提案し、勾配設定における交互降下の有限(線形)個の繰り返しにおけるNEの集合を特徴づけることができることを証明した。
NEの標準的な計算方法とは異なり、提案手法は並列化可能であり、アルゴリズムゲーム理論において、任意の学習率で動作する。
論文 参考訳（メタデータ） (2025-07-15T14:39:40Z) - Efficient identification of linear, parameter-varying, and nonlinear systems with noise models [1.6385815610837167]
本稿では、状態空間の力学モデルの幅広いスペクトルを推定できる一般的なシステム同定手法を提案する。
この一般的なモデル構造に対して、モデル力学は決定論的過程とノイズ部分に分離できることを示す。
人工ニューラルネットワーク(ANN)を用いた非線形機能関係のパラメータ化
論文 参考訳（メタデータ） (2025-04-16T11:23:30Z) - ParallelFlow: Parallelizing Linear Transformers via Flow Discretization [4.272515397452792]
行列値状態空間モデル(SSM)を用いた線形注意モデル解析のための理論的枠組みを提案する。
我々のアプローチであるParallel Flowsは、時間的ダイナミクスを実装制約から体系的に分離する視点を提供します。
具体的応用として、最近の理論的進歩によって動機付けられた一般化された低ランク設定でDeltaNetを解析する。
論文 参考訳（メタデータ） (2025-04-01T07:34:07Z) - Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。
現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。
本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
論文 参考訳（メタデータ） (2025-01-16T13:17:24Z) - Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。
本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。
いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-07-14T18:18:02Z) - Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。
トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文 参考訳（メタデータ） (2022-07-02T10:00:35Z) - Convex Programs and Lyapunov Functions for Reinforcement Learning: A
Unified Perspective on the Analysis of Value-Based Methods [3.9391112596932243]
価値に基づく手法はマルコフ決定過程(MDP)と強化学習(RL)において基本的役割を果たす
本稿では、価値計算(VC)、価値反復(VI)、時間差(TD)学習などの価値に基づく手法を統一的に分析するための制御理論フレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-14T18:32:57Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z) - Randomized Block-Diagonal Preconditioning for Parallel Learning [0.0]
本研究では,プレコンディショニング行列がブロック対角形を持つ事前条件付き勾配に基づく最適化手法について検討する。
本研究の主な貢献は,これらの手法の収束性がランダム化手法によって著しく向上できることを実証することである。
論文 参考訳（メタデータ） (2020-06-24T10:12:36Z) - Reinforcement Learning as Iterative and Amortised Inference [62.997667081978825]
我々は、この制御を推論フレームワークとして使用し、償却および反復推論に基づく新しい分類スキームを概説する。
この観点から、比較的探索されていないアルゴリズム設計空間の一部を特定できることを示す。
論文 参考訳（メタデータ） (2020-06-13T16:10:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。