論文の概要: Transformers with Selective Access to Early Representations
- arxiv url: http://arxiv.org/abs/2605.03953v1
- Date: Tue, 05 May 2026 16:38:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:44.040756
- Title: Transformers with Selective Access to Early Representations
- Title（参考訳）: 初期表現への選択的アクセスを持つ変換器
- Authors: Skye Gunasekaran, Téa Wright, Rui-Jie Zhu, Jason Eshraghian,
- Abstract要約: Selective Access Transformer(SATFormer)を導入し、コンテキスト依存ゲートによるアクセスを制御しながら、第1層の値経路を保存する。
SATFormerは静的値とTransformerベースラインに対するバリデーション損失とゼロショット精度を一貫して改善する。
ゲート分析は、スパース、ディープ依存、ヘッド固有、カテゴリー依存のアクセスパターンを示唆する。
- 参考スコア（独自算出の注目度）: 6.554898376530473
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Several recent Transformer architectures expose later layers to representations computed in the earliest layers, motivated by the observation that low-level features can become harder to recover as the residual stream is repeatedly transformed through depth. The cheapest among these methods add static value residuals: learned mixing coefficients that expose the first-layer value projection V_1 uniformly across tokens and heads. More expressive dense or dynamic alternatives recover finer-grained access, but at higher memory cost and lower throughput. The usefulness of V_1 is unlikely to be constant across tokens, heads, and contexts; different positions plausibly require different amounts of access to early lexical or semantic information. We therefore treat early-representation reuse as a retrieval problem rather than a connectivity problem, and introduce Selective Access Transformer (SATFormer), which preserves the first-layer value pathway while controlling access with a context-dependent gate. Across models from 130M to 1.3B parameters, SATFormer consistently improves validation loss and zero-shot accuracy over the static value-residual and Transformer baselines. Its strongest gains appear on retrieval-intensive benchmarks, where it improves over static value residuals by approximately 1.5 average points, while maintaining throughput and memory usage close to the baseline Transformer. Gate analyses suggest sparse, depth-dependent, head-specific, and category-sensitive access patterns, supporting the interpretation that SATFormer learns selective reuse of early representations rather than uniform residual copying. Our code is available at https://github.com/SkyeGunasekaran/SATFormer.
- Abstract（参考訳）: いくつかの最近のTransformerアーキテクチャは、後続の層を最初期の層で計算された表現に公開している。
これらの手法の中で最も安価なものは静的な値残差を加え、トークンとヘッドに一様に第1層の値投影V_1を露出する混合係数を学習する。
より表現力のある高密度またはダイナミックな代替手段は、よりきめ細かなアクセスを回復するが、メモリコストは高く、スループットも低い。
V_1の有用性はトークン、頭、コンテキスト間で一定ではない。
そこで我々は,接続性の問題ではなく,早期表現再利用を検索問題として扱い,コンテキスト依存ゲートによるアクセスを制御しながら第1層値経路を保存するSelective Access Transformer(SATFormer)を導入する。
130Mから1.3Bパラメータのモデル全体で、SATFormerは静的な値残差とトランスフォーマーのベースラインに対する検証損失とゼロショット精度を一貫して改善している。
検索集約型ベンチマークでは、スループットとメモリ使用率をベースラインのTransformerに近く維持しながら、静的な値残差を約1.5平均ポイント改善している。
ゲート分析では,疎度,深度依存,頭部依存,カテゴリー依存のアクセスパターンが提案され,SATFormerが一様残留コピーよりも早期表現の選択的再利用を学習している,という解釈を支持している。
私たちのコードはhttps://github.com/SkyeGunasekaran/SATFormer.comで利用可能です。
関連論文リスト
- The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。
このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
論文 参考訳（メタデータ） (2026-04-23T02:12:58Z) - T1: One-to-One Channel-Head Binding for Multivariate Time-Series Imputation [6.002503434201551]
さまざまな欠落パターンと重い欠落の下で、時系列で欠落する価値を示唆することは困難である。
本稿では,頑健な計算を実現するCNN-TransformerハイブリッドアーキテクチャであるT1(Time series imputation with 1-to-1 channel-head binding)を紹介する。
T1は最先端の性能を達成し、MSEを2番目に高いベースラインに比べて平均46%削減する。
論文 参考訳（メタデータ） (2026-02-24T16:03:46Z) - MeSH: Memory-as-State-Highways for Recursive Transformers [23.995570647573484]
パラメータが少ない再帰モデルは、マッチした計算の下では非再帰的モデルよりも遅れることが多い。
隠れた状態を探索することで、このパフォーマンスギャップを2つの主要なボトルネックにトレースします。
メモリ管理を明示的なメモリバッファに外部化するメモリ・アズ・ステート・ハイウェイ方式を導入する。
論文 参考訳（メタデータ） (2025-10-09T03:23:38Z) - You Do Not Fully Utilize Transformer's Representation Capacity [4.753535328327317]
LIMe(Layer-Integrated Memory)は、階層単位のルーティング重み付けを学習し、以前のすべてのレイヤからの表現を無視可能なオーバーヘッドで統合する軽量な拡張である。
LIMeは一貫して高速収束、FLOPあたりのパープレキシティの低下、および合成タスクの大幅な精度向上を実現している。
論文 参考訳（メタデータ） (2025-02-13T12:00:50Z) - Sparser Training for On-Device Recommendation Systems [50.74019319100728]
動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。
これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
論文 参考訳（メタデータ） (2024-11-19T03:48:48Z) - Value Residual Learning [13.88704205151734]
本稿では,ResFormerについて紹介する。ResFormerは値残差接続を組み込むことで情報フローを向上させるアーキテクチャである。
モデルパラメータが16.11%減少し、Transformerに比べてトレーニングデータが20.3%減少している。
論文 参考訳（メタデータ） (2024-10-23T14:15:07Z) - A Fast Post-Training Pruning Framework for Transformers [74.59556951906468]
プルーニングは、大きなTransformerモデルの巨大な推論コストを削減する効果的な方法である。
モデルプルーニングの以前の作業では、モデルの再トレーニングが必要だった。
本稿では,再学習を必要としないトランスフォーマーのための高速な訓練後プルーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-29T07:41:11Z) - Improving language models by retrieving from trillions of tokens [50.42630445476544]
大規模コーパスから取得した文書チャンクを条件付けすることで,自動回帰言語モデルを強化する。
2兆ドルのトークンデータベースで、Retrieval-Enhanced Transformer (RETRO)は、PileのGPT-3とJurassic-1に匹敵するパフォーマンスを得る。
論文 参考訳（メタデータ） (2021-12-08T17:32:34Z) - Memory-efficient Transformers via Top-$k$ Attention [23.672065688109395]
本研究では,バニラ注意のための簡易かつ高精度な近似法を提案する。
クェリをチャンクで処理し、各クェリに対してキーに関するトップ$kのスコアを計算します。
我々のアプローチは、スクラッチからのトレーニング、微調整、ゼロショット推論を含む複数のセットアップにおいて、バニラの注意にほぼ同一の精度をもたらすことを示す。
論文 参考訳（メタデータ） (2021-06-13T02:30:23Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳（メタデータ） (2021-02-16T11:45:35Z) - Funnel-Transformer: Filtering out Sequential Redundancy for Efficient
Language Processing [112.2208052057002]
本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。
Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
論文 参考訳（メタデータ） (2020-06-05T05:16:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。