論文の概要: Learning to (Learn at Test Time): RNNs with Expressive Hidden States

• arxiv url: http://arxiv.org/abs/2407.04620v1
• Date: Fri, 5 Jul 2024 16:23:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 12:51:25.146904
• Title: Learning to (Learn at Test Time): RNNs with Expressive Hidden States
• Title（参考訳）: テスト時間で学ぶ)学習 : 表現型隠れ状態を持つRNN
• Authors: Yu Sun, Xinhao Li, Karan Dalal, Jiarui Xu, Arjun Vikram, Genghan Zhang, Yann Dubois, Xinlei Chen, Xiaolong Wang, Sanmi Koyejo, Tatsunori Hashimoto, Carlos Guestrin,
• Abstract要約: 本稿では,線形複雑度と表現的隠蔽状態を有する新しいシーケンスモデリング層を提案する。 隠れた状態はテストシーケンスでもトレーニングによって更新されるので、私たちのレイヤはテスト時間トレーニング層と呼ばれます。
• 参考スコア（独自算出の注目度）: 69.78469963604063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-attention performs well in long context but has quadratic complexity. Existing RNN layers have linear complexity, but their performance in long context is limited by the expressive power of their hidden state. We propose a new class of sequence modeling layers with linear complexity and an expressive hidden state. The key idea is to make the hidden state a machine learning model itself, and the update rule a step of self-supervised learning. Since the hidden state is updated by training even on test sequences, our layers are called Test-Time Training (TTT) layers. We consider two instantiations: TTT-Linear and TTT-MLP, whose hidden state is a linear model and a two-layer MLP respectively. We evaluate our instantiations at the scale of 125M to 1.3B parameters, comparing with a strong Transformer and Mamba, a modern RNN. Both TTT-Linear and TTT-MLP match or exceed the baselines. Similar to Transformer, they can keep reducing perplexity by conditioning on more tokens, while Mamba cannot after 16k context. With preliminary systems optimization, TTT-Linear is already faster than Transformer at 8k context and matches Mamba in wall-clock time. TTT-MLP still faces challenges in memory I/O, but shows larger potential in long context, pointing to a promising direction for future research.
• Abstract（参考訳）: 自己注意は長い文脈ではうまく機能するが、二次的な複雑さがある。 既存のRNN層は線形複雑性を持つが、長いコンテキストでの性能は隠れ状態の表現力によって制限される。 本稿では,線形複雑度と表現的隠蔽状態を有する新しいシーケンスモデリング層を提案する。 キーとなるアイデアは、隠れた状態を機械学習モデル自身にし、更新ルールを自己教師型学習のステップとすることです。 テストシーケンスでも隠れた状態がトレーニングによって更新されるので、私たちのレイヤはテスト時間トレーニング(TTT)層と呼ばれます。 隠れ状態が線形モデルであるTT-LinearとTT-MLPの2つのインスタンスについて検討する。 125Mから1.3Bのパラメータでのインスタンス化を、強力なTransformerと最新のRNNであるMambaと比較して評価する。 TTT-Linear と TTT-MLP はどちらも基準線を超えている。 Transformerと同様に、より多くのトークンを条件付けすることで、パープレキシティの低減を継続できる。 予備システム最適化では、TT-Linearは8kコンテキストでTransformerよりも高速で、壁時計時間でMambaにマッチする。 TTT-MLPは依然としてメモリI/Oの課題に直面しているが、長期的には大きな可能性を秘めており、将来の研究にとって有望な方向性を示している。

関連論文リスト

• Stuffed Mamba: State Collapse and State Capacity of RNN-Based Long-Context Modeling [69.36377985746878]
  本研究では,RNNの長期的文脈処理能力の低下の原因について検討し,重要な緩和策を提案する。 まず,訓練中に遭遇しないシーケンス長の大幅な性能劣化を引き起こす*状態崩壊*(SC)について検討する。 我々は,言語モデルとパスキー検索における逐次状態キャパシティを実証的に推定するために,長い文書上に一連のマンバ2モデルを訓練する。
  論文  参考訳（メタデータ） (2024-10-09T17:54:28Z)
• Were RNNs All We Needed? [53.393497486332]
  従来のリカレントニューラルネットワーク(RNN)を10年以上前から再検討しています。 入力から隠れた状態依存を取り除くことで、LSTMやGRUはBPTTを必要とせず、並列で効率的に訓練できることを示す。
  論文  参考訳（メタデータ） (2024-10-02T03:06:49Z)
• Attention as an RNN [66.5420926480473]
  我々は,そのテキストマンディ・ツー・ワンのRNN出力を効率的に計算できる特別なリカレントニューラルネットワーク(RNN)として注目されることを示す。 本稿では,並列プレフィックススキャンアルゴリズムを用いて,注目のテキストマンディ・ツー・マニーRNN出力を効率よく計算する手法を提案する。 Aarensは、一般的な4つのシーケンシャルな問題設定に散らばる38ドルのデータセットで、Transformersに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-22T19:45:01Z)
• Is Mamba Effective for Time Series Forecasting? [30.85990093479062]
  時系列予測のための,S-Mamba(S-Mamba)というマンバモデルを提案する。 具体的には,各変数の時間点を線形層を介して自律的にトークン化する。 13の公開データセットの実験では、S-Mambaは計算オーバーヘッドを低く保ち、主要な性能を達成している。
  論文  参考訳（メタデータ） (2024-03-17T08:50:44Z)
• Test-Time Training on Video Streams [54.07009446207442]
  以前の作業では、テスト時にトレーニングされたモデルをさらに改善するための一般的なフレームワークとして、テストタイムトレーニング(TTT)を確立していました。 TTTをストリーミング設定に拡張し、複数のテストインスタンスが時間順に到着します。 オンラインTTTは、現実世界の3つのデータセット上で、4つのタスクで固定モデルベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2023-07-11T05:17:42Z)
• SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks [21.616328837090396]
  スパイキングニューラルネットワーク(SNN)はスパースとイベント駆動のアクティベーションを活用して、モデル推論に関連する計算オーバーヘッドを削減する。 イベント駆動型スパイクアクティベーションユニットを用いた生成言語モデルを実装した。 SpikeGPTは、これまでで最大のバックプロパゲーション訓練SNNモデルであり、自然言語の生成と理解の両方に適している。
  論文  参考訳（メタデータ） (2023-02-27T16:43:04Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping [7.0064929761691745]
  本稿では,非コントラスト型自己教師型学習手法を提案する。 提案手法は生の時系列データを入力として、モデルの2つのブランチに対して2つの異なる拡張ビューを生成する。 モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-04-24T14:39:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。