論文の概要: Residual Matrix Transformers: Scaling the Size of the Residual Stream

• arxiv url: http://arxiv.org/abs/2506.22696v1
• Date: Sat, 28 Jun 2025 00:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.517431
• Title: Residual Matrix Transformers: Scaling the Size of the Residual Stream
• Title（参考訳）: 残留行列変換器:残留ストリームのサイズを拡大する
• Authors: Brian Mak, Jeffrey Flanigan,
• Abstract要約: 残ストリームはメモリバスとして機能し、トランスフォーマー層は格納とアクセスの両方の機能を格納する。 残差ストリームにおける情報検索・保存機構の変更を検討し, 変圧器の残差ストリームを外部積記憶行列に置き換える。
• 参考スコア（独自算出の注目度）: 21.6421655732258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The residual stream acts as a memory bus where transformer layers both store and access features (Elhage et al., 2021). We consider changing the mechanism for retrieving and storing information in the residual stream, and replace the residual stream of the transformer with an outer product memory matrix (Kohonen, 1972, Anderson, 1972). We call this model the Residual Matrix Transformer (RMT). We find that the RMT enjoys a number of attractive properties: 1) the size of the residual stream can be scaled independently of compute and model size, improving performance, 2) the RMT can achieve the same loss as the transformer with 58% fewer FLOPS, 25% fewer parameters, and 41% fewer training tokens tokens, and 3) the RMT outperforms the transformer on downstream evaluations. We theoretically analyze the transformer and the RMT, and show that the RMT allows for more efficient scaling of the residual stream, as well as improved variance propagation properties. Code for this project can be found at https://github.com/bmac3/residual-matrix-transformer.
• Abstract（参考訳）: 残ストリームは、記憶層とアクセス層の両方が格納されるメモリバスとして機能する(Elhage et al , 2021)。 本研究は, 変圧器の残流を外部積記憶行列 (Kohonen, 1972, Anderson, 1972) に置き換えることを検討した。 我々はこのモデルをResidual Matrix Transformer (RMT)と呼ぶ。 RMTは、いくつかの魅力的な特性を享受しています。 1) 残留ストリームのサイズは計算量とモデルサイズとは独立してスケールでき, 性能が向上する。 2) RMT は FLOPS を 58% 減らし,パラメータを25% 減らし,トレーニングトークンを 41% 減らした変圧器と同じ損失が得られる。 3) RMT は下流評価において変圧器より優れる。 理論的には変圧器とRTTを解析し、RTTが残留流のより効率的なスケーリングと分散伝搬特性の向上を可能にすることを示す。 このプロジェクトのコードはhttps://github.com/bmac3/residual-matrix-transformerにある。

関連論文リスト

• Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA [38.30350849992281]
  再帰的(recursive)"言語モデルは、パフォーマンスの損失を最小限に抑えたレイヤ間でパラメータを共有する。 Recursive Transformerは、標準的な事前トレーニングされたトランスフォーマーから効率よく利用できるが、単一のユニークなレイヤブロックしか使用せず、ループ内で何度も繰り返される。 我々のモデルは、類似サイズのバニラ事前学習モデルと知識蒸留ベースラインの両方より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-28T02:15:45Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• Resource-Efficient Separation Transformer [14.666016177212837]
  本稿では,トランスフォーマーを用いた音声分離手法について,計算コストの削減による検討を行う。 私たちの主な貢献は、自己注意に基づくアーキテクチャであるResource-Efficient separation Transformer (RE-SepFormer)の開発です。 RE-SepFormerは、一般的なWSJ0-2MixとWHAM!データセットにおいて、因果設定と非因果設定の両方で競合するパフォーマンスに達する。
  論文  参考訳（メタデータ） (2022-06-19T23:37:24Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks [126.33843752332139]
  本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。 LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。 実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-04-16T11:30:26Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Rewiring the Transformer with Depth-Wise LSTMs [55.50278212605607]
  カスケードトランスとサブ層を接続する奥行きLSTMを用いたトランスフォーマーを提案する。 6層トランスを用いた実験では、WMT 14英語/ドイツ語/フランス語タスクとOPUS-100多言語NMTタスクの両方でBLEUが大幅に改善された。
  論文  参考訳（メタデータ） (2020-07-13T09:19:34Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。