論文の概要: Latest Exact Match Attention

• arxiv url: http://arxiv.org/abs/2609.25802v1
• Date: Tue, 22 Sep 2026 07:36:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.269361
• Title: Latest Exact Match Attention
• Title（参考訳）: 最近のエクササイズマッチ注意
• Abstract要約: 最新の正確なマッチアテンション(LEMA)は、クエリとキーがバイナライズされ、各クエリが最新のマッチングキーにのみ対応するトランスフォーマーのアテンション変種である。 直近では制約の少ない右利きの難易度が示されるように、思考の連鎖を持つLEMAトランスフォーマーはワードRAMをシミュレートできることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce latest exact match attention (LEMA), an attention variant for transformers where queries and keys are binarized and each query attends only to the latest exactly matching key. We prove that LEMA transformers with chain of thought can simulate word-RAMs, as was recently shown for the less restrictive rightmost hard attention. In contrast to prior hard attention variants, the restriction to exact matches enables an efficient converse direction: word-RAMs can simulate LEMA transformers at a cost per token independent of the context length. Together, these results yield a close correspondence between the two computational models in terms of both compute and memory. Beyond the theory, we propose a training method for LEMA transformers that handles their non-differentiable operations with a straight-through estimator for the binarization and a soft attention surrogate annealed towards LEMA. On a synthetic associative recall task, LEMA models trained this way use their growing state to store and recall a large number of associations, outperforming gated DeltaNet (GDN) with its fixed state size. As a first scaling test, we train LEMA language models with up to 834 million parameters. They match softmax transformers of around half their size in loss and, on repeated rare phrases and a needle-retrieval task, remain behind softmax transformers but recall across longer distances than GDN models of comparable size. Finally, we implement dictionary-based inference for LEMA transformers and show constant generation speed comparable to GDN despite their growing state, with the dictionaries residing in main memory rather than VRAM. Code is available at https://github.com/moritzbroe/latest_exact_match_attention.
• Abstract（参考訳）: クエリとキーがバイナライズされ、各クエリが最新のマッチングキーにのみ対応するトランスフォーマーのアテンション変種であるLEMAを紹介した。 直近では制約の少ない右利きの難易度を示すように,思考の連鎖を持つLEMAトランスフォーマーがワードRAMをシミュレートできることが証明された。 従来のハードアテンションの変種とは対照的に、正確なマッチングに対する制限は効率的な逆方向の制御を可能にする: ワードRAMは、コンテキスト長に依存しないトークン当たりのコストでLEMAトランスフォーマーをシミュレートすることができる。 これらの結果と合わせて、計算とメモリの両方の観点から、2つの計算モデル間の密接な対応が得られる。 理論の他に,両項化のためのストレートスルー推定器と,LEMAに対して焼鈍されたソフトアテンションシュロゲートを用いて,その非微分操作を処理するLEMAトランスフォーマーのトレーニング手法を提案する。 合成連想的リコールタスクでは、LEMAモデルは、この方法で成長状態を使用して、多数の関連を保存およびリコールし、その固定状態サイズでゲートDeltaNet(GDN)を上回るパフォーマンスを実現した。 最初のスケーリングテストとして、最大8億3400万のパラメータを持つLEMA言語モデルをトレーニングします。 それらは損失の約半分の大きさのソフトマックス変圧器と一致し、繰り返し発生するレアフレーズと針-検索タスクでは、ソフトマックス変圧器の後ろにとどまるが、同等の大きさのGDNモデルよりも長い距離でリコールされる。 最後に、LEMA変換器の辞書ベースの推論を実装し、VRAMではなくメインメモリに格納された辞書を用いて、GDNに匹敵する一定の生成速度を示す。 コードはhttps://github.com/moritzbroe/latest_exact_match_attentionで公開されている。

関連論文リスト

• EVA: Accelerating LLM Decoding via an Efficient Vector Quantization Architecture [13.194852545534822]
  EVAは、インプット-コードブック計算とコンフリクトフリーメモリアクセスを組み合わせた、シンプルだが効果的な洞察の上に構築されている。 EVAは、SOTAルックアップベースのアーキテクチャと比較して、最大で11.17$times$スピードアップと7.17$times$高効率を実現している。
  論文  参考訳（メタデータ） (2026-05-22T19:06:22Z)
• Flexible Operator Fusion for Fast Sparse Transformer with Diverse Masking on GPU [17.61398186997867]
  フレキシブルマスキングとGPU上の演算子融合によるスパーストランスフォーマーの最適化を組み込んだフレームワークであるSTOFを提案する。 STOFは,MHA計算で1.7倍,エンドツーエンド推論で1.5倍の高速化を実現する。
  論文  参考訳（メタデータ） (2025-06-06T13:54:34Z)
• LLM Inference Acceleration via Efficient Operation Fusion [1.350507740574158]
  Transformer-based Large Language Models (LLM) は数十億のパラメータを含み、トレーニングと推論に専用のハードウェアリソースを必要とする。 Transformerアーキテクチャに固有の重要な課題の1つは、多くの非線形変換をサポートする必要性である。 このような集団的操作によるオーバーヘッドを完全に隠蔽できる極めて効率的な手法を提案する。
  論文  参考訳（メタデータ） (2025-02-24T23:42:37Z)
• Mini-Sequence Transformer: Optimizing Intermediate Memory for Long Sequences Training [78.93900796545523]
  ミニシーケンス変換器(Mini-Sequence Transformer, MsT)は、非常に長いシーケンスを持つ高速かつ高精度なLLMトレーニング手法である。 MsTは入力シーケンスを分割し、中間メモリ使用量を減らすためにミニシーケンスを反復的に処理する。 huggingfaceライブラリと統合され、MsTはQwen、Mistral、Gemma-2の最大コンテキスト長を12-24倍に拡張した。
  論文  参考訳（メタデータ） (2024-07-22T01:52:30Z)
• Scaling Efficient LLMs [0.0]
  変圧器の「AIスケーリング法則」は、パラメータの数はデータのサイズと線形にスケールする必要があることを示唆している。 本稿では,リカレント変圧器と再カレントネットワークの有効性を組み合わせた再カレント変圧器を提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:06:19Z)
• Repeat After Me: Transformers are Better than State Space Models at Copying [53.47717661441142]
  一般化された状態空間モデルは、推論時間効率の観点からは有望であるが、入力コンテキストからのコピーを必要とするタスクのトランスフォーマーモデルと比較して限定的であることを示す。
  論文  参考訳（メタデータ） (2024-02-01T21:44:11Z)
• Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations [51.77000472945441]
  Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。 実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。 本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
  論文  参考訳（メタデータ） (2021-12-16T19:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。