論文の概要: The Extender: A Log-Structured Transformer

• arxiv url: http://arxiv.org/abs/2609.32759v1
• Date: Sat, 26 Sep 2026 16:27:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:40:18.027889
• Title: The Extender: A Log-Structured Transformer
• Title（参考訳）: 拡張器:ログ構造変換器
• Abstract要約: 本稿では,標準的な Transformer アーキテクチャのログ構造化版である Extender を紹介する。 標準のTransformerでは、各レイヤが後続のレイヤとのみ通信する。 拡張子は,$|_ell|=32$の場合,199M-924Mパラメータの短文(CORE)タスクでTransformer精度と一致し,長文(RULER)ワークロードで924MパラメータでTransformer精度を上回ることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the Extender, a log-structured variant of the standard Transformer architecture. In a standard Transformer, each layer communicates with subsequent layers exclusively via the residual $\mathbf{h}$, a superposition channel. The Extender adds a concatenation channel $\mathbf{x}$: each layer $\ell$ emits both a residual update $δ_\ell$ which is added to $\mathbf{h}$, and a much smaller extension $ε_\ell$ which is appended to $\mathbf{x}$. While both the FFN and $\mathbf{q}$ see $\mathbf{h}$, the attention $\mathbf{kv}$ projections take only $\mathbf{x}$ as input. As a result, the fully extended $\mathbf{x}$ contains the complete input for the $\mathbf{kv}$ projections of all layers, reducing the persistent attention memory footprint from $2Ld_{model}$ to $\sum|ε_\ell|$. We find that with $|ε_\ell|=32$, the Extender matches Transformer accuracy on short-context (CORE) tasks at 199M-924M parameters, and exceeds Transformer accuracy on long-context (RULER) workloads, again at 924M parameters. For our 1664-wide, 924M model, the Extender's persistent attention memory footprint is $104\times$ smaller than MHA. The memory savings grow with model width.
• Abstract（参考訳）: 本稿では,標準的な Transformer アーキテクチャのログ構造化版である Extender を紹介する。 標準変換器では、各層は、残余の$\mathbf{h}$、重ね合わせチャネルを介して、後続の層とのみ通信する。 各レイヤ$\ell$は、残余更新$δ_\ell$を$\mathbf{h}$に追加し、さらに小さな拡張$ε_\ell$を$\mathbf{x}$に追加する。 FFN と $\mathbf{q}$ はともに $\mathbf{h}$ であるが、注意$\mathbf{kv}$ は入力として $\mathbf{x}$ のみを取る。 その結果、完全に拡張された$\mathbf{x}$はすべての層の$\mathbf{kv}$プロジェクションの完全な入力を含んでおり、持続的な注意メモリのフットプリントは$2Ld_{model}$から$\sum|ε_\ell|$へと減少する。 拡張子は,|ε_\ell|=32$で199M-924MのタスクでTransformerの精度と一致し,長文(RULER)のワークロードでTransformerの精度を924Mのパラメータで上回ることがわかった。 1664の924Mモデルでは、Extensionerの永続的なメモリフットプリントはMHAよりも104\times$小さい。 メモリの節約はモデル幅とともに増加する。

関連論文リスト

• Sharp Approximation Rates for Neural Networks with Affine Latent Parameterizations [6.851715331085056]
  我々は、潜伏次元$M$とネットワーク予算$P$のトレードオフを研究する。 我々は、$[0,1]d$上の$$-Hlder関数の単位球に対する最適な最悪の一様近似誤差が、$0leq1$のシャープオーダー$ bigl(PminM,Pbigr)-/dであることを証明する。
  論文  参考訳（メタデータ） (2026-08-31T17:55:51Z)
• Sharp Minimax Regret for Infinite-Memory Logistic Prediction [55.29259818039367]
  Lag $j$はスケール$r_j$の予測に影響を与え、$n_T,j=T-j+1$の予測ラウンドに入る。 すべての要約可能なエンベロープに対して、局所化された混合は$cR_T(r)leq C_T(r)$を証明する。 指数関数やエンベロープの場合、有限サンプル条件の下では、トープリッツ・デサインの逆は$cR_T(r)geq c_T(r)$である。
  論文  参考訳（メタデータ） (2026-08-27T01:31:46Z)
• Exact Coset Sampling for Quantum Lattice Algorithms [9.910562011343009]
  複雑なガウス窓を持つ最近のウィンドウ付きQFT格子アルゴリズムのステップ9において、競合する「ドメイン拡張」を簡易に置き換える。 我々の新しいサブルーチンは、未知のオフセットを正確にキャンセルするペアシフト差分によってドメイン拡張を置き換える。
  論文  参考訳（メタデータ） (2025-09-15T18:10:28Z)
• Sharp Gap-Dependent Variance-Aware Regret Bounds for Tabular MDPs [54.28273395444243]
  我々は,モノトニック値 Omega (MVP) アルゴリズムが,差分を考慮した差分依存残差境界を$tildeOleft(left(sum_Delta_h(s,a)>0 fracH2 log K land MathttVar_maxtextc$。
  論文  参考訳（メタデータ） (2025-06-06T20:33:57Z)
• Provably Overwhelming Transformer Models with Designed Inputs [0.0]
  この文字列で評価されたモデルの出力と任意の追加文字列$t$, $mathcalM(s + t)$が、長さ($t$)$leq n_free$のたびに$t$の値に完全に無関心である場合、$mathcalM$は$s$で圧倒される。 我々は、モデルの振る舞いを束縛するために使う、特に強力な「オーバースカッシング」の最悪の形態を証明します。
  論文  参考訳（メタデータ） (2025-02-09T21:21:57Z)
• On Understanding Attention-Based In-Context Learning for Categorical Data [49.40350941996942]
  我々は,アテンションブロックで構成されるネットワークを開発し,各ブロックに自己注意層を付加し,その後にクロスアテンション層と関連するスキップ接続を付加する。 このモデルは、カテゴリー的観察を伴う文脈内推論のための多段階機能的GD推論を正確に行うことができる。
  論文  参考訳（メタデータ） (2024-05-27T15:03:21Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• $\ell_p$-Regression in the Arbitrary Partition Model of Communication [59.89387020011663]
  コーディネータモデルにおける分散$ell_p$-regression問題のランダム化通信複雑性について考察する。 p = 2$、すなわち最小二乗回帰の場合、$tildeTheta(sd2 + sd/epsilon)$ bitsの最初の最適境界を与える。 p in (1,2)$ に対して、$tildeO(sd2/epsilon + sd/mathrmpoly(epsilon)$ upper bound を得る。
  論文  参考訳（メタデータ） (2023-07-11T08:51:53Z)
• Simplifying and Understanding State Space Models with Diagonal Linear RNNs [56.33053691749856]
  本研究は、離散化ステップを解消し、バニラ対角線形RNNに基づくモデルを提案する。 概念的にはるかに単純であるにもかかわらず、$mathrmDLR$は以前提案したSSMと同じくらいのパフォーマンスを示す。 また、合成シーケンス・ツー・シーケンス・タスクのスイートによって、SSMとアテンションベースモデルの表現性も特徴付ける。
  論文  参考訳（メタデータ） (2022-12-01T18:53:06Z)
• The planted matching problem: Sharp threshold and infinite-order phase transition [25.41713098167692]
  ランダムに重み付けされた$ntimes n$ bipartite graphに隠された完全マッチング$M*$を再構築する問題について検討する。 任意の小さな定数 $epsilon>0$ に対して $sqrtd B(mathcalP,mathcalQ) ge 1+epsilon$ が成り立つ場合、任意の推定値の再構築誤差は $0$ から有界であることが示される。
  論文  参考訳（メタデータ） (2021-03-17T00:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。