論文の概要: LSTM-Style Looped Transformers with Shared KV Caches

• arxiv url: http://arxiv.org/abs/2610.33360v1
• Date: Fri, 23 Oct 2026 23:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.312366
• Title: LSTM-Style Looped Transformers with Shared KV Caches
• Title（参考訳）: 共有KVキャッシュを有するLSTMスタイルループ変換器
• Abstract要約: 再帰型コアに1つのキー値キャッシュを共有するLSTM型トランスについて検討する。 幅1024では、ほぼ一致する前方のFLOPにおいて、未整合制御よりも40.4%少ないパラメータを使用する。 このミスマッチには、2つのトレーニングパスのキャッシュエントリと、固定されたトレーニングトークン予算の10%の整合性損失を合わせることで対処する。
• 参考スコア（独自算出の注目度）: 1.490638138768359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent transformers reuse weights to perform deep computation with fewer parameters. We study an LSTM-style transformer that also shares one key--value cache across its recurrent core. At width 1024, it uses 40.4% fewer parameters than an untied control at nearly matched forward FLOPs, and reduces persistent cache sets from fifteen to four. Parallel training supplies cache entries from a standard-attention pass, whereas continuation reads entries produced recursively using shared attention. We address this mismatch by aligning the two training passes' cache entries with a consistency loss during the final 10% of a fixed training-token budget. Across three model widths on FineWeb, this removes 81--89% of the continuation-loss penalty relative to full-cache evaluation. The improvement replicates on disjoint documents for two training seeds. Across four widths and 1.05--4.19B training tokens, the loss cost of weight tying is smallest at lower token budgets, suggesting an opportunity to use recurrent computation when data and model storage are limited.
• Abstract（参考訳）: リカレントトランスは、より少ないパラメータでディープ計算を行うために重みを再利用する。 再帰型コアに1つのキー値キャッシュを共有するLSTM型トランスについて検討する。 幅1024では、ほぼ一致する前方のFLOPにおいて、未処理の制御よりも40.4%少ないパラメータを使用し、永続的なキャッシュセットを15から4に削減する。 並列トレーニングは標準アテンションパスからキャッシュエントリを供給しますが、継続読み込みは共有アテンションを使用して再帰的に生成されるエントリを読みます。 このミスマッチには、2つのトレーニングパスのキャッシュエントリと、固定されたトレーニングトークン予算の10%の整合性損失を合わせることで対処する。 FineWebの3つのモデル幅にまたがって、フルキャッシュ評価に対する継続損失ペナルティの81～89%を除去する。 この改良は2つの訓練種子の解離文書を複製する。 4つの幅と1.05--4.19Bのトレーニングトークンで、ウェイトタイリングの損失コストは低いトークン予算で最小であり、データとモデルストレージが制限されたときに繰り返し計算を使用する機会を示唆している。

関連論文リスト

• CacheRepair: Learning to Repair Cross-Chunk Context in RAG for KV Cache Fusion [4.63143469565065]
  CacheRepairは、独立に計算されたKVキャッシュと、チャンクを一緒に処理することによって生成されるKVキャッシュの違いを学習する。 修復により, チャンク境界近傍とチャンク内部全体のKV誤差が低減されることを示す。
  論文  参考訳（メタデータ） (2026-09-28T13:26:55Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• MergeOver: Post-Training Token Merging for Recursive Vision Transformers [1.6106006867887395]
  MergeOverがToken Merging(ToMe)をSliced Recursive Transformer(SReT)に統合 ImageNet-1Kをベンチマークし、トップ1の精度を1.47ポイント削減した。 GPUでは、バッチサイズ1と16ではピークアクティベーションメモリを37.3%、38.4%削減し、バッチサイズ1ではスループットを21.7%削減するが、バッチサイズ16では21.7%向上する。
  論文  参考訳（メタデータ） (2026-08-13T12:15:10Z)
• AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems [15.913507689262573]
  AgentKVShift(エージェントKVShift)は、検索したメモリ単位ごとに動作させる訓練不要のプローブ誘導残差補正手法である。 我々は,AgentKVShiftがキャッシュの10～30%をリフレッシュしながら,ほぼ完全な再計算性能を実現することを示す。 このほぼフルに近いパフォーマンスに達するには最大5倍の低い再計算が必要で、以前の再利用メソッドは45～55%のリフレッシュしか得られない。
  論文  参考訳（メタデータ） (2026-05-15T16:29:36Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。