論文の概要: Learning how to Forget: Fine-tuning for Long-Context Sparse Attention

• arxiv url: http://arxiv.org/abs/2608.19920v1
• Date: Thu, 20 Aug 2026 11:37:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.555723
• Title: Learning how to Forget: Fine-tuning for Long-Context Sparse Attention
• Title（参考訳）: 忘れる方法を学ぶ: 長期的スパース注意のための微調整
• Abstract要約: 細かな注意を払ってモデルを微調整する新しい手法を提案する。 任意のKVキャッシュポリシで動作し、適度なハードウェア予算で動作し、モデルがポリシに適応できるようにする。 また,H2Oスパースアテンションの効率的な実装と,専用スケールドット製品アテンションカーネルのサポートも提供する。
• 参考スコア（独自算出の注目度）: 11.87808902232407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A lot of prior work addressed key-value (KV) cache selection and compression by sparse attention to enable long-context inference for transformer language models without excessive hardware budgets. We provide a new method for fine-tuning models with sparse attention. It works for any KV cache policy, runs on a moderate hardware budget (e.g., a single Nvidia A100 GPU with 40 GB RAM), and allows the model to co-adapt with the policy, often outperforming models trained with exact attention (sequence parallelism). We also provide an efficient implementation of H2O sparse attention (the leading policy in our experiments) with dedicated scaled dot product attention kernel support. KeysAndValues (https://github.com/awslabs/keys_values), a new open source library for long-context inference and fine-tuning, provides easy-to-use and performant code for all methods discussed here.
• Abstract（参考訳）: キーバリュー(KV)キャッシュの選択と圧縮には、ハードウェア予算を過大に必要とせずに、トランスフォーマー言語モデルに対する長いコンテキスト推論を可能にするため、多くの作業が軽視された。 細かな注意を払ってモデルを微調整する新しい手法を提案する。 任意のKVキャッシュポリシで動作し、適度なハードウェア予算(例えば、40GBのRAMを持つ1つのNvidia A100 GPU)で動作し、モデルがポリシーに適応できるようにし、正確な注意力(シーケンス並列性)でトレーニングされたモデルを上回ることがよくある。 我々はまた、H2Oスパースアテンション(実験における主要なポリシー)の効率的な実装と、専用のスケールドドット製品アテンションカーネルのサポートを提供する。 KeysAndValues (https://github.com/awslabs/keys_values)は、長文推論と微調整のための新しいオープンソースライブラリである。

関連論文リスト

• ZoomR: Memory Efficient Reasoning through Multi-Granularity Key Value Retrieval [58.575695990976136]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて優れたパフォーマンスを示している。 LLMは、最終的な答えに到達する前に、長い中間的思考を生成する必要があることが多い。 我々は,LLMが動詞の推論思考を要約に適応的に圧縮することを可能にする新しいアプローチであるZoomRを紹介する。
  論文  参考訳（メタデータ） (2026-04-13T02:00:35Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• Test-Time Training Done Right [61.8429380523577]
  テスト時間トレーニング(TTT)モデルは、推論中にモデルの重みの一部を適応させることによってコンテキストをモデル化する。 既存のTT手法は、長文データを扱う上で有効性を示すのに苦労した。 我々は,大規模チャンクテストタイムトレーニング(LaCT)を開発し,ハードウェア利用率を桁違いに向上させる。
  論文  参考訳（メタデータ） (2025-05-29T17:50:34Z)
• Eigen Attention: Attention in Low-Rank Space for KV Cache Compression [9.080678336379528]
  我々は,低ランク空間における注意操作を行うEigen Attentionを提案し,KVキャッシュメモリのオーバーヘッドを低減する。 その結果,Eigen AttentionはKVキャッシュサイズを最大40%削減し,注目動作遅延を最大60%低減し,性能の低下を最小化できることがわかった。
  論文  参考訳（メタデータ） (2024-08-10T22:47:12Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• A Simple and Effective $L_2$ Norm-Based Strategy for KV Cache Compression [13.981807478365452]
  キーバリューキャッシュサイズを減らすための既存のアプローチは、圧縮戦略を学ぶためのモデルを微調整するか、シーケンス長を減らすためにアテンションスコアを利用するかのいずれかである。 キャッシュされたKVペアに対して、$L$とアテンションスコアとの間に明らかな相関関係が見られ、キー埋め込みの低い$L$がデコード時に高いアテンションスコアをもたらす。 実験の結果,この単純な手法により,言語モデリングやニードル・イン・ア・ヘイスタックタスクでは50%,パスキー検索タスクでは90%,精度を損なうことなく,KVキャッシュサイズを50%削減できることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T11:35:16Z)
• Simple linear attention language models balance the recall-throughput tradeoff [60.06020449520365]
  線形およびすべり窓の注意を結合したシンプルなアーキテクチャであるBASEDを提案する。 我々は、最大1.3bパラメータの言語モデルをトレーニングし、BASEDがパープレキシティにおいて最強のサブクワッドラティックモデルと一致し、実世界のリコール集約タスクにおいて6.22の精度ポイントでそれらのモデルを上回っていることを示す。
  論文  参考訳（メタデータ） (2024-02-28T19:28:27Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。