論文の概要: ParallelFlow: Parallelizing Linear Transformers via Flow Discretization

• arxiv url: http://arxiv.org/abs/2504.00492v1
• Date: Tue, 01 Apr 2025 07:34:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:18:35.130017
• Title: ParallelFlow: Parallelizing Linear Transformers via Flow Discretization
• Title（参考訳）: ParallelFlow:フロー離散化による線形変換器の並列化
• Authors: Nicola Muca Cirone, Cristopher Salvi,
• Abstract要約: 行列値状態空間モデル(SSM)を用いた線形注意モデル解析のための理論的枠組みを提案する。 我々のアプローチであるParallel Flowsは、時間的ダイナミクスを実装制約から体系的に分離する視点を提供します。 具体的応用として、最近の理論的進歩によって動機付けられた一般化された低ランク設定でDeltaNetを解析する。
• 参考スコア（独自算出の注目度）: 4.272515397452792
• License:
• Abstract: We present a theoretical framework for analyzing linear attention models through matrix-valued state space models (SSMs). Our approach, Parallel Flows, provides a perspective that systematically decouples temporal dynamics from implementation constraints, enabling independent analysis of critical algorithmic components: chunking, parallelization, and information aggregation. Central to this framework is the reinterpretation of chunking procedures as computations of the flows governing system dynamics. This connection establishes a bridge to mathematical tools from rough path theory, opening the door to new insights into sequence modeling architectures. As a concrete application, we analyze DeltaNet in a generalized low-rank setting motivated by recent theoretical advances. Our methods allow us to design simple, streamlined generalizations of hardware-efficient algorithms present in the literature, and to provide completely different ones, inspired by rough paths techniques, with provably lower complexity. This dual contribution demonstrates how principled theoretical analysis can both explain existing practical methods and inspire fundamentally new computational approaches.
• Abstract（参考訳）: 本稿では,行列値状態空間モデル(SSM)を用いて線形アテンションモデルを解析するための理論的枠組みを提案する。 我々のアプローチであるParallel Flowsは、時間的ダイナミクスを実装制約から体系的に分離し、チャンキング、並列化、情報集約といった重要なアルゴリズムコンポーネントの独立解析を可能にする視点を提供する。 このフレームワークの中心は、チャンキング手順の再解釈であり、システムダイナミクスを管理するフローの計算である。 この接続は、粗い経路理論から数学的ツールへのブリッジを確立し、シーケンスモデリングアーキテクチャに対する新たな洞察の扉を開く。 具体的応用として、最近の理論的進歩によって動機付けられた一般化された低ランク設定でDeltaNetを解析する。 提案手法により,本論文に存在するハードウェア効率アルゴリズムの単純で合理化された一般化を設計し,大まかなパス技術に触発された全く異なるアルゴリズムを提供することができる。 このデュアルコントリビューションは、原理的理論解析が既存の実践的手法をどう説明できるかを実証し、基礎的に新しい計算アプローチを誘発する。

関連論文リスト

• Dynamical Mean-Field Theory of Self-Attention Neural Networks [0.0]
  トランスフォーマーベースのモデルは、様々な領域で例外的な性能を示している。 動作方法や期待されるダイナミクスについてはほとんど分かっていない。 非平衡状態における非対称ホップフィールドネットワークの研究に手法を用いる。
  論文  参考訳（メタデータ） (2024-06-11T13:29:34Z)
• Understanding Multi-phase Optimization Dynamics and Rich Nonlinear Behaviors of ReLU Networks [8.180184504355571]
  線形可分データに基づく勾配流による2層ReLUネットワークの学習過程の理論的評価を行う。 学習過程全体から4つの段階が明らかになり,学習の簡略化と複雑化の傾向が示された。 特定の非線形挙動は、初期、サドルプラトー力学、凝縮エスケープ、複雑化に伴う活性化パターンの変化など、理論的に正確に識別することもできる。
  論文  参考訳（メタデータ） (2023-05-21T14:08:34Z)
• Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
  人工知能,特に深層学習(DL)の最近の進歩を概観する。 ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
  論文  参考訳（メタデータ） (2022-12-18T02:03:00Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Stochastic normalizing flows as non-equilibrium transformations [62.997667081978825]
  正規化フローは従来のモンテカルロシミュレーションよりも効率的に格子場理論をサンプリングするための経路を提供することを示す。 本稿では,この拡張された生成モデルの効率を最適化する戦略と応用例を示す。
  論文  参考訳（メタデータ） (2022-01-21T19:00:18Z)
• Approximation Theory of Convolutional Architectures for Time Series Modelling [15.42770933459534]
  時系列モデリングに適用した畳み込みアーキテクチャの近似特性について検討する。 近年の結果,データ生成プロセスにおける近似効率とメモリ構造との複雑な関係が明らかになった。
  論文  参考訳（メタデータ） (2021-07-20T09:19:26Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Modern Koopman Theory for Dynamical Systems [2.5889588665122725]
  現代のクープマン作用素論を概観し、最近の理論とアルゴリズムの発展について述べる。 また、急速に成長する機械学習分野における重要な進歩と課題についても論じる。
  論文  参考訳（メタデータ） (2021-02-24T06:18:16Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Operator Inference and Physics-Informed Learning of Low-Dimensional Models for Incompressible Flows [5.756349331930218]
  本稿では,データからの非圧縮性流れに対する構造的低次モデル学習への新たなアプローチを提案する。 本研究では,速度と圧力の学習ダイナミクスを分離し,効率的な演算子推論手法を提案する。
  論文  参考訳（メタデータ） (2020-10-13T21:26:19Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。