論文の概要: ParaTTT: Parallelizing Test-Time Training Layers with Deep Memories

• arxiv url: http://arxiv.org/abs/2610.38255v1
• Date: Wed, 28 Oct 2026 04:08:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.3707
• Title: ParaTTT: Parallelizing Test-Time Training Layers with Deep Memories
• Title（参考訳）: ParaTTT: ディープメモリによるテスト時間トレーニングレイヤの並列化
• Abstract要約: テストタイムトレーニングレイヤは、現代的なリカレントアーキテクチャの線形高速メモリを、勾配降下によってオンラインにトレーニングされた小さなニューラルネットワークに置き換える。 TTT-MLPのような既存の実装は、チャンクワイズ並列線形リカレンスよりも数倍遅いシーケンシャルでブロックワイトな更新に依存している。 インナーループ勾配軌道の推定を反復的に精算することにより、任意の深い非線形メモリを並列化するアルゴリズムであるParaTTTを導入する。
• 参考スコア（独自算出の注目度）: 95.16199009506573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time training (TTT) layers replace the linear fast-weight memory of modern recurrent architectures with a small neural network trained online by gradient descent. This nonlinear memory is more expressive than the linear memories of Gated DeltaNet and Mamba-2, but is difficult to parallelize: existing implementations such as TTT-MLP rely on sequential, block-wise weight updates that run several times slower than chunkwise-parallel linear recurrences. Moreover, their block-wise execution only approximates the token-by-token online recurrence, whereas linear recurrences admit an exact chunkwise-parallel evaluation. We introduce ParaTTT (PTTT), an algorithm for parallelizing arbitrarily deep nonlinear memories by iteratively refining estimates of the inner-loop gradient trajectory. Starting from a guess of the hidden-layer gradients, each refinement consists of three chunkwise-parallel passes: a forward pass that evaluates the resulting feature trajectory, an exact gated-delta-rule pass that computes the readout trajectory and its feature gradients, and a backward pass that propagates these gradients into a new estimate. The exact online gradient descent recurrence is a fixed point of the iteration, while decoding requires no refinement iterations. We prove geometric convergence for a two-layer variant under sufficient contraction conditions. In practice, two iterations suffice. With two refinement steps at 4K context, PTTT evaluates the inner-loop trajectory $32\times$ faster than TTT-MLP with the block approximation at matched error, while the full 340M model trains $4.9\times$ faster. Models trained at 340M and 1.3B parameters match or exceed Gated DeltaNet and Mamba-2 and remain competitive with same-size Transformers on language-modeling perplexity and zero-shot accuracy, with better recall than the linear recurrences.
• Abstract（参考訳）: テストタイムトレーニング(TTT)レイヤは、現代的なリカレントアーキテクチャのリニア高速メモリを、勾配降下によってオンラインにトレーニングされた小さなニューラルネットワークに置き換える。 この非線形メモリはGated DeltaNet や Mamba-2 の線形メモリよりも表現力が高いが、並列化は難しい。 さらに、ブロックワイズ実行はトークン・バイ・トークン・オンライン・リカレンスにのみ近似するが、線形リカレンスでは正確なチャンクワイズ・パラレル評価が認められる。 インナーループ勾配軌道の推定を反復的に精算することにより、任意の深い非線形メモリを並列化するアルゴリズムであるParaTTT(PTTT)を導入する。 隠れ層勾配の推測から始めると、各精細化は3つのチャンクワイズパラレルパスからなる: 結果として生じる特徴軌道を評価する前方パス、読み出し軌道とその特徴勾配を計算する正確なゲートデルタルールパス、そしてこれらの勾配を新しい推定値に伝播する後方パスである。 正確なオンライン勾配降下繰り返しは反復の固定点であり、復号には改良の繰り返しは必要ない。 十分収縮条件下での2層不変量に対する幾何収束性を証明する。 実際には、2つのイテレーションが十分です。 4Kコンテキストでの2つの改良ステップにより、PTTTはTTT-MLPよりも32\times$で、ブロック近似は一致した誤差で、フル340Mモデルは4.9\times$で、内部ループの軌道は32\times$で評価される。 340M と 1.3B のパラメータで訓練されたモデルは Gated DeltaNet と Mamba-2 に匹敵し、言語モデリングの難易度とゼロショットの精度で同じ大きさのトランスフォーマーと競合し、リニアリカレンスよりも良好なリコールを行う。

関連論文リスト

• DeltaTTT: Layerwise Optimization for Nonlinear Recurrent Memory [41.824308871041204]
  逐次テストタイムトレーニングは、逐次更新を通じてメモリネットワークに適応する。 デルタTTTを導入し,2層メモリネットワークと階層学習を併用した内部ループ最適化を実現する。 DeltaNetとLaCTのバックボーンの実験では、リカレントベースラインよりも言語モデリングと検索が改善されている。
  論文  参考訳（メタデータ） (2026-10-06T15:40:06Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• MDN: Parallelizing Stepwise Momentum for Delta Linear Attention [27.145174798663035]
  線形注意(LA)は、大規模言語モデルを長いシーケンスにスケールするための有望なパラダイムを提供する。 Mamba2やGDNのような最近のLAモデルは、線形反復を閉形式オンライン勾配勾配として解釈する。 Momentum DeltaNet (MDN) はTritonカーネルを活用して、競合する線形モデルと同等のトレーニングスループットを実現する。
  論文  参考訳（メタデータ） (2026-05-07T08:12:09Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• Scaling Recurrent Neural Networks to a Billion Parameters with Zero-Order Optimization [0.0]
  FLOPとGPUメモリにおけるRNNのスケール定数は、コンテキスト長が増加する。 変換器はFLOPで線形に、そしてせいぜい、生成中のメモリで線形にスケールする。 標準最適化手法は時間によるバックプロパゲーションに依存しているため、長い文脈での大規模RNNの訓練は実用的ではない。
  論文  参考訳（メタデータ） (2025-05-23T13:04:06Z)
• Gated Linear Attention Transformers with Hardware-Efficient Training [60.670102007737476]
  本研究は、並列化性に対してメモリ移動をオフにする線形注意のためのハードウェア効率のアルゴリズムについて述べる。 次に、このアルゴリズムを、データ依存ゲートを用いたより表現力豊かな線形アテンションに一般化する。 変圧器の標準アテンション層に代えて使用すると、結果として生じるゲート状リニアアテンショントランスが競合的に動作することが分かる。
  論文  参考訳（メタデータ） (2023-12-11T18:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。