論文の概要: Hybrid Latent Attention for Looped Language Models

• arxiv url: http://arxiv.org/abs/2610.07940v1
• Date: Tue, 06 Oct 2026 08:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.88595
• Title: Hybrid Latent Attention for Looped Language Models
• Title（参考訳）: ループ言語モデルに対するハイブリッド潜時注意
• Abstract要約: Hybrid Latent Attention (HLA)は、W最近のトークンのスライディングウィンドウ内に正確なキーと値を格納する。 HLAは数学、知識、推論のベンチマークにおける元の精度の97%以上を保持し、16Kトークンまでの長文検索では96-100%である。
• 参考スコア（独自算出の注目度）: 25.454803350097702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped language models apply the same stack of layers T times to each token, which deepens the model without adding parameters but multiplies its key-value (KV) cache by T. The larger cache limits how many sequences a GPU can decode at once and slows each decoding step, which reads the whole cache. We propose Hybrid Latent Attention (HLA), which keeps exact keys and values within a sliding window of W recent tokens and stores each older token as a compact latent that the query of each loop reads directly, without reconstructing keys and values. We uptrain HLA on Ouro looped models (T=4) with 1.4B and 2.6B parameters, keeping the pretrained weights frozen and training only the added parameters to reproduce the original attention. The cache shrinks by 10.7x per token, fitting 4.0-8.8x as many concurrent sequences per GPU, and decoding throughput improves by 2.5x at 1K-token contexts and by up to 7.4x at 16K. HLA retains over 97% of the original accuracy on math, knowledge and reasoning benchmarks, and 96-100% on long-context retrieval up to 16K tokens. After supervised fine-tuning, it performs on par with the fine-tuned original model on competition-level math.
• Abstract（参考訳）: ループ言語モデルは各トークンに同じレイヤT倍のスタックを適用し、パラメータを追加せずにモデルを深くするが、キー値(KV)キャッシュをTで乗算する。 本稿では,Wの最近のトークンのスライディングウィンドウ内に正確なキーと値を保持するハイブリッド遅延注意(HLA)を提案し,各ループのクエリがキーや値を再構成することなく直接読み出すようなコンパクトな遅延として,各古いトークンを格納する。 We uptrain HLA on Ouro looped model (T=4) with 1.4B and 2.6B parameters, keep the pretrained weights frozen and training only the addition parameters to repeat the original attention。 キャッシュはトークン当たり10.7倍縮小し、GPU当たりの並行シーケンス数4.0-8.8倍、デコードスループットは1Kのコンテキストで2.5倍、最大16Kで7.4倍向上する。 HLAは数学、知識、推論のベンチマークにおける元の精度の97%以上を保持し、16Kトークンまでの長文検索では96-100%である。 教師付き微調整の後、競争レベルの数学に関する微調整されたオリジナルのモデルと同等に機能する。

関連論文リスト

• HLA: Expressive Hybrid Linear Attention via Chunk-Wise Dynamic Mixing [46.9405944149712]
  Gated DeltaNet (GDN) のためのクエリ依存型チャンクレベルのアテンション機構である emphHybrid Linear Attention (HLA) を導入する。 HLAは、完了したチャンクを正確なアフィン状態遷移として表現し、コンテンツ依存のルーティングゲートを計算する。 プレトレーニング適応とオフスクラッチトレーニングを併用したHLAの評価を行った。
  論文  参考訳（メタデータ） (2026-10-05T05:49:31Z)
• Where Activation Sparsity and KV-Cache Sparsity Cross in LLM Decoding [25.41362943884425]
  2つのブランチとその構成を2つのGPU上で2Kから128Kトークンに記録します。 2つの貯蓄が等しい文脈長であるバイトクロスオーバーと、各分岐に対する理想的なスピードアップ境界を導出する。 スプリットK注意の代わりにマスク付きで高密度ベースラインをタイミングさせることで、同じKVポリシーの約5倍のスピードアップが膨らむ。
  論文  参考訳（メタデータ） (2026-09-27T20:11:05Z)
• PQ-HSA: Reusing Product-Quantized Scores for Hybrid Sparse-Approximate Attention [31.05085292228752]
  PQ-HSAは選択したトークンに元のキーと値で出席する。 Llama-3.1-8BやQwen3-30B-A3BのQuestやSnapKVよりも正確である。
  論文  参考訳（メタデータ） (2026-09-27T16:47:14Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Sequential KV Cache Compression via Probabilistic Language Tries: Beyond the Per-Vector Shannon Limit [0.0]
  最近のKVキャッシュ量子化の研究はTurboQuantで終わり、トランスフォーマーキー値キャッシュのベクターあたりの圧縮に対するシャノンエントロピー限界に近づいた。 この制限は、KVキャッシュをシーケンスとして圧縮するという、実際に問題となる問題よりも厳密に弱い問題に適用される。 KVキャッシュに格納されているトークンは、任意の浮動小数点データではなく、モデルがトレーニングした正確な形式言語からのサンプルであり、モデルは、その言語のほぼ最適予測子を構築することで構成される。
  論文  参考訳（メタデータ） (2026-04-10T22:48:19Z)
• DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
  効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。 並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。 当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
  論文  参考訳（メタデータ） (2026-04-09T14:35:42Z)
• Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall [0.0]
  Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。 FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。 本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
  論文  参考訳（メタデータ） (2026-04-09T02:00:30Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• Hyena Hierarchy: Towards Larger Convolutional Language Models [115.82857881546089]
  ハイエナは、暗黙的にパラメトリケートされた長い畳み込みとデータ制御ゲーティングをインターリーブすることによって構築された注意のための準四分法的なドロップイン置換である。 数千から数十万のトークン列のリコールおよび推論タスクにおいて、ハイエナは状態空間やその他の暗黙的かつ明示的なメソッドに依存する演算子よりも50ポイント以上精度を向上させる。
  論文  参考訳（メタデータ） (2023-02-21T18:29:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。