論文の概要: Repeat After Me: Transformers are Better than State Space Models at Copying

• arxiv url: http://arxiv.org/abs/2402.01032v1
• Date: Thu, 1 Feb 2024 21:44:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 17:42:10.626468
• Title: Repeat After Me: Transformers are Better than State Space Models at Copying
• Title（参考訳）: トランスフォーマーは、コピー時の状態空間モデルより優れている
• Authors: Samy Jelassi, David Brandfonbrener, Sham M. Kakade, Eran Malach
• Abstract要約: 一般化された状態空間モデルは、推論時間効率の観点からは有望であるが、入力コンテキストからのコピーを必要とするタスクのトランスフォーマーモデルと比較して限定的であることを示す。
• 参考スコア（独自算出の注目度）: 57.37277256818516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are the dominant architecture for sequence modeling, but there is growing interest in models that use a fixed-size latent state that does not depend on the sequence length, which we refer to as "generalized state space models" (GSSMs). In this paper we show that while GSSMs are promising in terms of inference-time efficiency, they are limited compared to transformer models on tasks that require copying from the input context. We start with a theoretical analysis of the simple task of string copying and prove that a two layer transformer can copy strings of exponential length while GSSMs are fundamentally limited by their fixed-size latent state. Empirically, we find that transformers outperform GSSMs in terms of efficiency and generalization on synthetic tasks that require copying the context. Finally, we evaluate pretrained large language models and find that transformer models dramatically outperform state space models at copying and retrieving information from context. Taken together, these results suggest a fundamental gap between transformers and GSSMs on tasks of practical interest.
• Abstract（参考訳）: トランスフォーマーはシーケンスモデリングにおいて支配的なアーキテクチャであるが、我々は「一般化状態空間モデル」(GSSM)と呼ばれるシーケンス長に依存しない固定サイズの潜在状態を使用するモデルへの関心が高まっている。 本稿では,GSSMは推論時間効率の面で有望であるが,入力コンテキストからのコピーを必要とするタスクにおいて,トランスフォーマーモデルと比較して限定的であることを示す。 まず,2層変換器が指数関数長の文字列をコピーできるのに対して,GSSMは固定サイズ潜在状態によって根本的に制限されていることを証明する。 実験により, コンテクストの複製を必要とする合成タスクにおいて, GSSMよりも効率と一般化が優れていることがわかった。 最後に,事前学習した大規模言語モデルを評価し,トランスフォーマーモデルがコンテキストからの情報をコピー・検索する上で,状態空間モデルよりも劇的に優れていることを見出す。 これらの結果は,本研究の課題におけるトランスフォーマーとGSSMの根本的なギャップを示唆するものである。

関連論文リスト

• The Expressive Capacity of State Space Models: A Formal Language Perspective [0.8948475969696075]
  線形状態空間モデル(SSM)に基づくリカレントモデルは、言語モデリング(LM)において有望な性能を示した。 本稿では,変換器や従来のRNNと比較して,そのようなSSMの容量に関する包括的理論的研究を行う。
  論文  参考訳（メタデータ） (2024-05-27T17:46:57Z)
• MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
  ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。 層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。 従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
  論文  参考訳（メタデータ） (2024-05-25T03:24:32Z)
• Do Efficient Transformers Really Save Computation? [34.15764596496696]
  我々は、効率的な変換器、特にスパース変換器と線形変換器の機能と限界に焦点を当てる。 以上の結果から,これらのモデルは一般のDPタスクを解くのに十分な表現力を持っているが,期待とは裏腹に,問題のサイズに合わせてスケールするモデルサイズが必要であることが示唆された。 我々は,これらのモデルが標準のTransformerよりも効率的であるようなDP問題のクラスを同定する。
  論文  参考訳（メタデータ） (2024-02-21T17:00:56Z)
• Block-State Transformers [41.57016890030355]
  状態空間モデル(SSM)は、長距離依存のモデリングを必要とするタスクに対して印象的な結果を示している。 本稿では,長距離コンテキスト化のためのSSMサブレイヤを内部的に結合したBST(Block-State Transformer)というハイブリッド層を提案する。 我々のモデルは言語モデリングの難易度において類似のTransformerベースのアーキテクチャよりも優れており、より長いシーケンスに一般化できることを示す。
  論文  参考訳（メタデータ） (2023-06-15T22:48:08Z)
• Mega: Moving Average Equipped Gated Attention [150.3124713793503]
  メガ (Mega) は、(予備的な)移動平均を備えた単純で理論上は接地された単頭誘導式アテンション機構である。 我々はMegaがトランスフォーマーの変種や最近の状態空間モデルを含む他のシーケンスモデルよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2022-09-21T20:52:17Z)
• Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations [51.77000472945441]
  Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。 実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。 本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
  論文  参考訳（メタデータ） (2021-12-16T19:56:44Z)
• Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
  ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。 我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
  論文  参考訳（メタデータ） (2020-11-08T15:53:56Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。