Fugu-MT 論文翻訳(概要): Structured Recurrent Mixers for Massively Parallelized Sequence Generation

論文の概要: Structured Recurrent Mixers for Massively Parallelized Sequence Generation

arxiv url: http://arxiv.org/abs/2605.08696v1
Date: Sat, 09 May 2026 05:07:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-12 23:28:49.821345
Title: Structured Recurrent Mixers for Massively Parallelized Sequence Generation
Title（参考訳）: 大規模並列化シーケンス生成のための構造的リカレントミキサー
Abstract要約: 本稿では,列車時のシーケンス並列表現と推論時のリカレント表現との変換を可能にするアーキテクチャであるStructured Recurrent Mixerを紹介する。この二重表現は、他の線形複雑性モデルと比較して、トレーニング効率が向上し、入力情報のキャパシティが向上し、推論スループットと長さが向上することを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Over the last two decades, language modeling has experienced a shift from predominantly recurrent architectures that process tokens sequentially during training and inference to non-recurrent models that process sequence elements in parallel during training, which results in greater training efficiency and stability at the expense of lower inference throughput. Here we introduce the Structured Recurrent Mixer, an architecture that allows for algebraic conversion between a sequence parallel representation at train time and a recurrent representation at inference, notably without the need for specialized kernels or device-specific memory management. We show experimentally that this dual representation allows for greater training efficiency, higher input information capacity, and larger inference throughput and concurrency when compared to other linear complexity models. We postulate that recurrent models are poorly suited to extended sequence length scaling for information-rich inputs typical of language, but are well suited to scaling in the sample (batch) dimension due to their constant memory per sample. We provide Mojo/MAX inference implementations of SRMs exhibiting 12x the throughput and 170x the concurrency of similarly powerful Transformers inferenced on vLLM, increases characteristic of Pytorch implementations resulting in a 30\% increase in compute-constant GSM8k Pass@k. We conclude by demonstrating that SRMs are effective reinforcement learning training candidates.
Abstract（参考訳）: 過去20年間で、言語モデリングは、トレーニング中にトークンを逐次処理する主にリカレントなアーキテクチャから、トレーニング中にシーケンス要素を並列に処理する非リカレントなモデルに移行した。本稿では、列車時のシーケンス並列表現と推論時のリカレント表現との代数変換を可能にするアーキテクチャであるStructured Recurrent Mixerを紹介する。この二重表現は、他の線形複雑性モデルと比較して、トレーニング効率の向上、入力情報のキャパシティの向上、推論スループットと並行性の向上を可能にすることを実験的に示す。逐次モデルでは、言語に典型的な情報豊富な入力に対して、拡張シーケンス長のスケーリングには適していないが、サンプル単位のメモリが一定であることから、サンプル(バッチ)次元のスケーリングには適している、と仮定する。計算定数 GSM8k Pass@k が 30 % 増加し,Pytorch 実装の特性が向上する。我々は、SRMが効果的な強化学習訓練候補であることを示すことで締めくくった。

関連論文リスト

Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。 2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
論文参考訳（メタデータ） (2026-08-29T14:27:55Z)
Auto-Regressive Masked Diffusion Models [9.239507801466322]
仮面拡散モデル (MDM) は言語モデリングの有望なアプローチとして登場している。自動回帰モデル(ARM)と比較してパフォーマンスのギャップがあり、より多くのトレーニングイテレーションが必要です。本稿では,自己回帰型マスケッド拡散モデルを提案する。これは,自己回帰型モデルのトレーニング効率と,拡散型モデルの並列生成能力を統一するものである。
論文参考訳（メタデータ） (2026-01-23T18:42:30Z)
Parallelizable memory recurrent units [1.3159512679346688]
本稿では、非線形RNNの永続的メモリ能力とSSMの並列化計算を組み合わせたメモリリカレントユニット(MRU)を新たに導入する。 BMRUは長期依存型タスクにおいて良好な結果が得られ、状態空間モデルと組み合わせて並列化可能で過渡的ダイナミクスと永続メモリを備えたハイブリッドネットワークを構築することができることを示す。
論文参考訳（メタデータ） (2026-01-14T14:01:11Z)
Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
論文参考訳（メタデータ） (2025-06-12T17:32:02Z)
Multiverse: Your Language Models Secretly Decide How to Parallelize and Merge Generation [20.117825519637357]
並列生成が可能な新しい生成モデルであるMultiverseを導入する。次に,データ,アルゴリズム,システムの共設計キュレーションを用いた実世界のマルチバース推論モデルを構築した。データ作成のために,自動LLM支援パイプラインであるMultiverse Curatorを開発した。また、並列推論をサポートするために、Multiverse Engineを実装しています。
論文参考訳（メタデータ） (2025-06-11T17:59:23Z)
Generative Models for Long Time Series: Approximately Equivariant Recurrent Network Structures for an Adjusted Training Scheme [4.327763441385371]
本稿では,連続層を有する変分オートエンコーダ(VAE)に基づく時系列データに対する簡易かつ効果的な生成モデルを提案する。本手法では,シーケンス長を漸進的に向上させる適応型トレーニング手法を提案する。リカレントアーキテクチャを利用することで、モデルはシーケンス長に関係なく定数数のパラメータを保持する。
論文参考訳（メタデータ） (2025-05-08T07:52:37Z)
Hydraulis: Balancing Large Transformer Model Training via Co-designing Parallel Strategies and Data Assignment [25.38589021788461]
我々は並列戦略とデータ割り当てを協調的に最適化するHydraulisを開発する。実験の結果、Hydraulis は既存のシステムよりも 1.32-2.66 倍高い性能を示した。
論文参考訳（メタデータ） (2024-12-10T20:01:53Z)
UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文参考訳（メタデータ） (2024-10-15T04:56:43Z)
Retentive Network: A Successor to Transformer for Large Language Models [91.6652200825638]
大規模言語モデルの基盤アーキテクチャとしてRetentive Network(RetNet)を提案する。理論的には、再発と注意の関係を導出する。言語モデリングの実験結果から、RetNetは優れたスケーリング結果、並列トレーニング、低コストなデプロイメント、効率的な推論を実現している。
論文参考訳（メタデータ） (2023-07-17T16:40:01Z)
RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
論文参考訳（メタデータ） (2023-05-22T13:57:41Z)
FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文参考訳（メタデータ） (2023-02-20T07:46:14Z)
Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
論文参考訳（メタデータ） (2021-10-26T17:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。