論文の概要: DeltaTTT: Layerwise Optimization for Nonlinear Recurrent Memory
- arxiv url: http://arxiv.org/abs/2610.08553v1
- Date: Tue, 06 Oct 2026 15:40:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.08824
- Title: DeltaTTT: Layerwise Optimization for Nonlinear Recurrent Memory
- Title（参考訳）: DeltaTTT:非線形リカレントメモリの階層最適化
- Abstract要約: 逐次テストタイムトレーニングは、逐次更新を通じてメモリネットワークに適応する。
デルタTTTを導入し,2層メモリネットワークと階層学習を併用した内部ループ最適化を実現する。
DeltaNetとLaCTのバックボーンの実験では、リカレントベースラインよりも言語モデリングと検索が改善されている。
- 参考スコア（独自算出の注目度）: 41.824308871041204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential test-time training adapts a memory network through successive updates, each computing an inner-loop gradient based on the network's previous state. Intuitively, this state dependence should allow each update to account for what the memory has already learned and better incorporate new information. However, we find that this expected advantage does not consistently materialize in nonlinear memories: a fixed-base parallel TTT baseline outperforms its serial counterpart. Our exploratory experiments point to a key underlying difficulty: nonlinear memories can be harder to optimize than linear ones within a single pass over the sequence. To alleviate this optimization difficulty, we introduce DeltaTTT, which replaces joint inner-loop optimization of a two-layer memory network with layerwise learning. Each layer is assigned a local prediction target and updated through a state-dependent delta rule. This formulation retains a nonlinear readout while enabling chunkwise parallel computation. Experiments on DeltaNet and LaCT backbones show improvements in language modeling and retrieval over their recurrent baselines.
- Abstract（参考訳）: 連続的なテスト時間トレーニングは、連続した更新を通じてメモリネットワークに適応し、それぞれがネットワークの以前の状態に基づいてインナーループ勾配を演算する。
直感的には、この状態依存により、各更新は、メモリが既に学んだことを考慮し、新しい情報をよりうまく組み込むことができる。
しかし、この期待されている利点は非線形記憶において一貫して成立しない。固定ベース並列TTTベースラインはシリアルメモリよりも優れている。
非線形記憶は、シーケンス上の1つのパス内の線形記憶よりも最適化が難しい可能性がある。
この最適化の難しさを軽減するため,レイヤワイズ学習による2層メモリネットワークの接続内ループ最適化を代替するDeltaTTTを導入する。
各レイヤにはローカル予測ターゲットが割り当てられ、状態依存のデルタルールによって更新される。
この定式化は、チャンクワイズ並列計算を可能にしながら非線形読み出しを保持する。
DeltaNetとLaCTのバックボーンの実験では、リカレントベースラインよりも言語モデリングと検索が改善されている。
関連論文リスト
- Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳（メタデータ） (2026-05-26T10:10:26Z) - PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。
PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。
この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
論文 参考訳（メタデータ） (2026-02-11T12:39:41Z) - MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。
テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2025-06-05T16:50:23Z) - Lattice: Learning to Efficiently Compress the Memory [13.765057453744427]
本稿では,キャッシュを一定数のメモリスロットに効率よく圧縮する新しいリカレントニューラルネットワーク(RNN)機構であるLatticeを紹介する。
我々は、この圧縮をオンライン最適化問題として定式化し、単一の勾配降下ステップに基づいて動的メモリ更新ルールを導出する。
実験結果から,Latticeはコンテキスト長の異なるすべてのベースラインと比較して,最も難易度が高いことがわかった。
論文 参考訳（メタデータ） (2025-04-08T03:48:43Z) - Simple Linear Neuron Boosting [0.0]
本稿では,Boosted Backpropagation を用いた関数空間におけるネットワークニューロンの最適化について検討する。
適応的なステップサイズを持つオンライン行列自由学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-03T07:53:41Z) - Inverted Activations: Reducing Memory Footprint in Neural Network Training [5.070981175240306]
ニューラルネットワークトレーニングにおける重要な課題は、アクティベーションテンソルに関連するメモリフットプリントである。
本稿では, 点方向非線形層におけるアクティベーションテンソルの取扱いの修正を提案する。
本手法は,トレーニング精度や計算性能に影響を与えることなく,メモリ使用量を大幅に削減できることを示す。
論文 参考訳（メタデータ） (2024-07-22T11:11:17Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳（メタデータ） (2020-12-21T06:40:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。