論文の概要: HyFlash: A Prefix-Memory Prior for On-Device Speculative Decoding

• arxiv url: http://arxiv.org/abs/2611.07263v1
• Date: Thu, 05 Nov 2026 00:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.47614
• Title: HyFlash: A Prefix-Memory Prior for On-Device Speculative Decoding
• Title（参考訳）: HyFlash: デバイス上の投機的デコードに先立つプリフィックスメモリ
• Abstract要約: HyFlashは、異なる長距離コンテキストモデリングの前にプレフィックスメモリを導入する、コンパクトな並列ドラフトラである。 実験により、HyFlashは、KVストレージが大幅に少ないフルコンテキストアテンションよりも高い受け入れを達成することが示された。
• 参考スコア（独自算出の注目度）: 9.726384030599744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parallel block drafting accelerates speculative decoding by predicting multiple future positions in a single backbone pass, but on-device deployment constrains both drafter capacity and context storage. Under tight memory budgets, drafters must model long-range dependencies and fine-grained draft-position interactions without the growing KV-cache overhead of full-context attention. We propose HyFlash, a compact parallel drafter that introduces a prefix-memory prior to separate long-range context modeling from fine-grained draft-position interactions with limited capacity. Local attention captures recent context and draft-position interactions, while recurrent memory compresses historical target features into fixed-size states. This inductive bias enables effective local and long-range modeling with bounded draft-side memory. Experiments show that HyFlash achieves higher acceptance than full-context attention with substantially less KV storage and with larger gains for shallow drafters and long contexts.
• Abstract（参考訳）: パラレルブロックのドラフトは、1つのバックボーンパスで複数の将来の位置を予測することで投機的デコーディングを加速するが、デバイス上のデプロイメントはドラフトアキャパシティとコンテキストストレージの両方を制限している。 厳密なメモリ予算の下では、ドラフト作成者は、フルコンテキストの注意のKVキャッシュオーバーヘッドを増大させることなく、長距離依存ときめ細かいドラフト設定のインタラクションをモデル化する必要がある。 我々は,限られたキャパシティを持つ微粒なドラフトポジション相互作用から,長距離コンテキストモデリングを分離する前にプレフィックスメモリを導入する,コンパクトな並列ドラフトラであるHyFlashを提案する。 ローカルアテンションは最近のコンテキストとドラフトポジションの相互作用を捉え、リカレントメモリは過去のターゲット特徴を固定サイズの状態に圧縮する。 この帰納バイアスは、有界なドラフト側メモリを用いた効率的な局所及び長距離モデリングを可能にする。 実験により、HyFlashはフルコンテキストの注意よりも、KVストレージが大幅に少なく、浅いドラフト作成者や長いコンテキストに対して大きな利得が得られることが示された。

関連論文リスト

• Proteus: Incremental Memory Activation for Long-Context Sequence Modeling [40.42120143986562]
  本研究では,メモリの有効容量が増大するにつれて徐々に拡大する,インクリメンタルメモリの活性化という新たなパラダイムについて検討する。 Proteusでは、このパラダイムをインスタンス化しています。これは、幅広い種類のニューラルメモリアーキテクチャに追加コストなしで組み込むことのできる、簡単なメカニズムです。
  論文  参考訳（メタデータ） (2026-08-17T17:30:43Z)
• Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
  条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。 圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。 歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
  論文  参考訳（メタデータ） (2026-06-05T17:16:21Z)
• LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
  提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。 LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。 このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
  論文  参考訳（メタデータ） (2026-03-03T18:55:37Z)
• S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
  S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。 S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。 単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
  論文  参考訳（メタデータ） (2026-01-25T05:25:22Z)
• KVSwap: Disk-aware KV Cache Offloading for Long-Context On-device Inference [6.159622195480178]
  言語モデル(LM)は、ミーティングやビデオの要約、ドキュメント分析といった、モバイルおよび組み込みAIアプリケーションを支えるものだ。 キー値(KV)キャッシュがコンテキスト長とバッチサイズとともに線形に増加するため、長コンテキスト推論はすぐにメモリキャパシティウォールにヒットする。 KVSwapは、KVキャッシュを非揮発性二次記憶装置(ディスク)にオフロードすることで、このメモリ壁を壊すソフトウェアフレームワークである。 KVSwapは、既存のKVキャッシュオフロード方式と比較して、生成品質を維持しながら、厳しいメモリ予算の下で高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-11-14T22:37:57Z)
• OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
  我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。 OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。 オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
  論文  参考訳（メタデータ） (2025-09-25T21:42:27Z)
• Beyond Homogeneous Attention: Memory-Efficient LLMs via Fourier-Approximated KV Cache [67.47789629197857]
  本稿では,トランスヘッド次元の不均一な役割を生かした学習自由フレームワークを提案する。 フーリエアテンションは、長コンテキスト非感性次元をフーリエ基底に投影することにより、その時間的進化を固定長のスペクトル係数で近似する。 本稿では,FourierAttention が LongBench と Needle-In-A-Haystack 上で最高の長文精度を実現することを示す。
  論文  参考訳（メタデータ） (2025-06-13T15:35:54Z)
• A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
  本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。 まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。 3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
  論文  参考訳（メタデータ） (2025-02-21T10:12:34Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。