論文の概要: Parallel Recursive LSTM

• arxiv url: http://arxiv.org/abs/2605.17108v1
• Date: Sat, 16 May 2026 18:28:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.612566
• Title: Parallel Recursive LSTM
• Title（参考訳）: 並列再帰型LSTM
• Authors: Tristan Gaudreault, Yongyi Mao,
• Abstract要約: 並列再帰型LSTM(Parallel Recursive LSTM)は,左から右への再帰を平衡計算木上の非線形状態合成に置き換える階層的再帰型アーキテクチャである。 PR-LSTMは、標準RNN、LSTM、Transformerベースラインよりも多くのタスクを解決し、注意の2次スケーリングを避けながら、フォーマルなベンチマーク上で強力なシーケンス長の一般化を実現する。
• 参考スコア（独自算出の注目度）: 26.883902799977964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have become the dominant architecture for sequence modeling by using self-attention to enable expressive and highly parallel processing. However, the resulting quadratic time and memory costs limit efficiency in long-context settings. Recurrent models such as LSTMs provide explicit nonlinear state updates and strong state-tracking capabilities, yet their strictly sequential computation limits parallelism. We introduce the Parallel Recursive LSTM (PR-LSTM), a hierarchical recurrent architecture that replaces left-to-right recurrence with recursive nonlinear state composition over a balanced computation tree. Tokens are first mapped independently to latent states, which are then recursively merged by a learned gated composition block. This structure uses the reduction pattern underlying parallel scans as a fixed execution schedule, rather than assuming an associative recurrence. As a result, PR-LSTM retains nonlinear gated state representations while reducing recurrent parallel depth from linear to logarithmic. Empirically, PR-LSTM achieves strong sequence-length generalization on formal-language benchmarks, solving more tasks than standard RNN, LSTM, and Transformer baselines, while avoiding the quadratic scaling of attention. These results suggest that recurrent computation can be reorganized hierarchically to expose parallelism without restricting the transition dynamics to linear or associative forms.
• Abstract（参考訳）: トランスフォーマーは、自己アテンションを用いて表現的かつ高い並列処理を可能にすることで、シーケンスモデリングにおいて支配的なアーキテクチャとなっている。 しかし、結果として生じる二次時間とメモリのコストは、長いコンテキスト設定の効率を制限します。 LSTMのようなリカレントモデルは、明示的な非線形状態更新と強い状態追跡機能を提供するが、厳密な逐次計算は並列性を制限している。 並列再帰型LSTM(Parallel Recursive LSTM, PR-LSTM)は, 階層的再帰型アーキテクチャである。 トークンは、まず潜伏状態に独立にマッピングされ、学習されたゲート合成ブロックによって再帰的にマージされる。 この構造は、連想的再帰を前提としてではなく、並列スキャンに基づくリダクションパターンを固定実行スケジュールとして使用する。 その結果、PR-LSTMは非線形ゲート状態表現を維持しつつ、線形から対数への並列深さを減少させる。 PR-LSTMは、標準のRNN、LSTM、Transformerのベースラインよりも多くのタスクを解決し、注意の2次スケーリングを避けながら、フォーマルな言語ベンチマーク上で強いシーケンス長の一般化を実現する。 これらの結果は、リカレント計算を階層的に再編成し、線形あるいは連想形式への遷移力学を制限することなく並列性を明らかにすることを示唆している。

関連論文リスト

• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• Parallelizable memory recurrent units [1.3159512679346688]
  本稿では、非線形RNNの永続的メモリ能力とSSMの並列化計算を組み合わせたメモリリカレントユニット(MRU)を新たに導入する。 BMRUは長期依存型タスクにおいて良好な結果が得られ、状態空間モデルと組み合わせて並列化可能で過渡的ダイナミクスと永続メモリを備えたハイブリッドネットワークを構築することができることを示す。
  論文  参考訳（メタデータ） (2026-01-14T14:01:11Z)
• ParaRNN: Unlocking Parallel Training of Nonlinear RNNs for Large Language Models [9.107447466062409]
  ParaRNNは非線形RNNのシーケンス並列化障壁を破るフレームワークである。 本実装では,シーケンシャルアプリケーション上での最大665倍の高速化を実現している。 ParaRNNは、非線形RNNの自動トレーニング並列化のためのオープンソースフレームワークとしてリリースされた。
  論文  参考訳（メタデータ） (2025-10-24T13:28:33Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products [60.72655477351486]
  リニアリカレントニューラルネットワーク(線形RNN)は、シーケンスモデリングのためのトランスフォーマーの競合代替手段として登場した。 既存のアーキテクチャは、表現性と効率の基本的なトレードオフに直面しており、状態遷移行列の構造によって規定されている。
  論文  参考訳（メタデータ） (2025-02-14T16:59:05Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。