論文の概要: FOLD: Position-Free Far Memory with Local Order for Long-Context Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.20392v1
• Date: Wed, 14 Oct 2026 15:55:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.242398
• Title: FOLD: Position-Free Far Memory with Local Order for Long-Context Speculative Decoding
• Title（参考訳）: FOLD:Long-Context Speculative Decodingのための局所順序付き位置自由遠記憶
• Abstract要約: 投機的復号化は軽量な起草と並列検証によってLCM生成を加速させる。 ほとんどのドラフトラは短いシーケンスで訓練され、長い入力で分解されるが、長いコンテキストのトレーニングはコストがかかる。 FOLDは、正確な位置を保存し、全ての遠方のエントリを共有位置における遠方のメモリとして扱う訓練不要な手法である。
• 参考スコア（独自算出の注目度）: 4.505347622479669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding accelerates LLM generation through lightweight drafting and parallel verification. It is particularly promising for long inputs, where KV-cache access costs can be amortized over multiple accepted tokens. Yet most drafters are trained on short sequences and degrade on long inputs, while long-context training is costly. Existing training-free approaches restrict the context window, rescale positions, or augment recent context with retrieved distant entries. Drafters, however, read target hidden states that already encode contextual and positional information, and their lightweight architecture makes full-history attention affordable. We propose FOLD, a training-free method that preserves exact local positions and treats all distant entries as far memory at a shared position. To counter attention dilution as the memory grows, we sharpen attention within it to emphasize relevant entries while separately controlling its total weight relative to the local window. Across six target-drafter pairs and diverse benchmarks of up to 256K tokens, FOLD predominantly delivers the highest speedup, with the best case more than doubling the speedup over autoregressive decoding, from 2.08$\times$ to 4.22$\times$.
• Abstract（参考訳）: 投機的復号化は軽量な起草と並列検証によってLCM生成を加速させる。 長い入力には特に有望であり、KVキャッシュアクセスコストを複数のトークンに対して償却することができる。 しかし、ほとんどのドラフトラは短いシーケンスで訓練され、長い入力で分解され、長いコンテキストのトレーニングはコストがかかる。 既存のトレーニングフリーアプローチでは、コンテキストウィンドウの制限、位置の再スケール、あるいは検索された遠隔エントリによる最近のコンテキストの強化などが行われている。 しかし、既に文脈情報や位置情報をエンコードしている対象の隠れ状態を読み取ると、その軽量なアーキテクチャにより、歴史の完全な注目が手頃な価格になる。 FOLDは、正確な位置を保存し、全ての遠方のエントリを共有位置における遠方のメモリとして扱う訓練不要な手法である。 メモリが増大するにつれて注意の希薄化に対処するため,ローカルウィンドウに対する総重量を個別に制御しながら,関連する項目に注意を向ける。 6つのターゲットドロースペアと256Kトークンの多種多様なベンチマークのうち、FOLDは最も高いスピードアップを提供しており、自己回帰復号のスピードアップを2.08$\times$から4.22$\times$に倍増させるのが最適である。

関連論文リスト

• WIRE: Weight Space Implicit Representation Encoding of Frozen Video LLMs [50.26647187459162]
  ビデオ言語モデルは、デコーダの入力に視覚的な埋め込みの長いシーケンスとしてビデオを表す。 凍結したビデオ言語モデルの映像の一部を移動させることにより、この繰り返しコストを低減できるWIRE(Weight Space Implicit Representation)を提案する。 Qwen3-VL-8Bでは、1フレームあたり16のキャリアトークンを持つWIREは、ビジュアルストリームを3.5Times$で、デコーダのプリフィル時間を256フレームで$3.35times$、1024フレームで$4.14times$で削減し、キーバリューキャッシュを比例的に縮小し、トークンの復号遅延をほぼ一定に保つ。
  論文  参考訳（メタデータ） (2026-10-12T20:13:21Z)
• Slow-Fast Inference: Training-Free Inference Acceleration via Within-Sentence Support Stability [61.28049899686214]
  本稿では,生成を低コストの高速ステップと時折高密度の低速ステップに分解する,学習不要な復号化フレームワークを提案する。 評価されたコンテキスト長全体にわたって、SFIは約1.6times$--14.4times$高い復号スループットを提供する。
  論文  参考訳（メタデータ） (2026-03-12T15:14:48Z)
• SparseVILA: Decoupling Visual Sparsity for Efficient VLM Inference [49.84148668264725]
  SparseVILAは効率的なVLM推論のための新しいパラダイムであり、前処理と復号の段階で視覚空間を疎結合する。 AWQ最適化推論パイプライン上に構築されたSparseVILAは、プリフィルの最大4.0倍、デコーディングの2.5倍、長文ビデオタスクの2.6倍のエンドツーエンド高速化を実現している。
  論文  参考訳（メタデータ） (2025-10-20T17:35:47Z)
• Mem4Nav: Boosting Vision-and-Language Navigation in Urban Environments with a Hierarchical Spatial-Cognition Long-Short Memory System [9.687946545604492]
  大規模都市環境における視覚・言語ナビゲーション (VLN) は、複雑な場面で言語指導を行うための具体的エージェントを必要とする。 階層型空間認識長短メモリシステムである textbfMem4Nav を導入し,任意のVLNバックボーンを拡張できる。
  論文  参考訳（メタデータ） (2025-06-24T09:00:43Z)
• When Precision Meets Position: BFloat16 Breaks Down RoPE in Long-Context Training [51.23520027773028]
  コンテキストウィンドウサイズの拡張により、大きな言語モデルでは、より長いシーケンスを処理し、より複雑なタスクを処理できる。 我々は,RoPEをBFloat16フォーマットで使用すると,数値的な問題が発生し,目的とする相対的位置エンコーディングから逸脱してしまうことを観察した。 我々は,BFloat16による数値問題を軽減するプラグイン・アンド・プレイアテンション法であるAnchorAttentionを開発した。
  論文  参考訳（メタデータ） (2024-11-20T17:22:31Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。