論文の概要: Kernel-based Interpolatory Methods for Context Compression of Attention Mechanisms
- arxiv url: http://arxiv.org/abs/2610.40943v1
- Date: Thu, 29 Oct 2026 20:21:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.487754
- Title: Kernel-based Interpolatory Methods for Context Compression of Attention Mechanisms
- Title（参考訳）: カーネルを用いた注意機構の文脈圧縮のための補間法
- Abstract要約: 注意機構の文脈を、まずカーネルに関連するヒルベルト空間で定式化することで圧縮する問題を考察する。
一般化経験補間法(GEIM)とQ離散経験補間法(Q-DEIM)に基づいてGAIMとQ-DAIMと呼ぶ2つの新しいKV-cache圧縮法を提案する。
これらの手法のコストは文脈長の2次的なので、Taylorシリーズ、Performer、Random Featuresメソッドに基づくサロゲートモデルを提案し、圧縮を線形時間で行えるようにする。
- 参考スコア（独自算出の注目度）: 1.4323566945483497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The bottleneck of attention mechanisms, which are the fundamental building block of modern language models, is their quadratic complexity in terms of context size. There has thus been an increasing interest in the compression of the context, also called KV-cache compression. In this article, we consider the problem of compressing the context of attention mechanisms by first formulating it in the Hilbert space associated with its kernel. In this formalism, attention can be represented as the ratio of two linear maps whose interpolant is also the ratio of interpolants, this allows us to consider the interpolation of the linear maps directly. We thus introduce two novel KV-cache compression methods which we call GAIM and Q-DAIM, based on the Generalized Empirical Interpolation Method (GEIM) and the Q-Discrete Empirical Interpolation Method (Q-DEIM), respectively. As the cost of these methods is quadratic in terms of context length, we propose surrogate models based on the Taylor series, the Performer and the Random Fourier Features method which allow the compression to be done in linear time. Finally, we extend this result to the streaming attention setting, providing new methods which allow one to penalize the selection of interpolation nodes based on the previously interpolated context and to update the previous interpolation based on new information. We then provide numerical results on the convergence of the residuals and the output error in future queries and preliminary results on the LongBench-E benchmark showing performance comparable to the state-of-the-art methods. These experiments suggest that the range revealed by our Q-DAIM method could help identify where information is concentrated in the KV cache, thus enabling an efficient compression.
- Abstract（参考訳）: 現代の言語モデルの基本構築ブロックである注意機構のボトルネックは、文脈サイズの観点から2次複雑さである。
これにより、KV-cache圧縮とも呼ばれるコンテキストの圧縮への関心が高まっている。
本稿では,まずカーネルに付随するヒルベルト空間において,注意機構の文脈を圧縮する問題を考察する。
この形式主義では、補間剤が補間剤の比でもある2つの線型写像の比として注意を表現できるので、線型写像の補間を直接考慮することができる。
そこで我々は, GAIM と Q-DAIM をそれぞれ一般化経験補間法 (GEIM) と Q-離散経験補間法 (Q-DEIM) に基づいて, GAIM と Q-DAIM と呼ぶ2つの新しい KV-cache 圧縮法を提案する。
これらの手法のコストは文脈長の2次的なので,Taylorシリーズ,Performer,Random Fourier Features法に基づく代用モデルを提案し,圧縮を線形時間で行えるようにした。
最後に、この結果をストリーミングアテンション設定に拡張し、従来の補間コンテキストに基づいて補間ノードの選択をペナルティ化し、新しい情報に基づいて補間を更新する新しい方法を提供する。
次に,今後のクエリにおける残差の収束と出力誤差に関する数値結果と,最先端手法に匹敵する性能を示すLongBench-Eベンチマークの予備結果を提供する。
これらの実験から,我々のQ-DAIM法が示す範囲は,KVキャッシュに情報が集中している場所を特定するのに役立つことが示唆された。
関連論文リスト
- Exact and fast series expansions for quantum models with long-range interactions [0.369104651494871]
本稿では,リンククラスタ法の中心的な計算ボトルネックを取り除く決定論的フレームワークを提案する。
我々のグラフゼータ法は、高次元格子和の費用と統計的にノイズの多いモンテカルロの評価を置き換える。
我々は,1d,2d,3dにおけるパワー-ロー相互作用を持つ横場イジングモデルに対するアプローチをベンチマークした。
論文 参考訳（メタデータ） (2026-09-16T14:48:42Z) - Problem-dependent convergence bounds for randomized linear gradient compression [4.656302602746228]
目的関数に関連する収束に対する圧縮の影響について検討する。
圧縮が収束に与える影響は, 目的関数に付随する量化行列で表すことができる。
論文 参考訳（メタデータ） (2024-11-19T22:26:42Z) - In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。
我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。
実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
論文 参考訳（メタデータ） (2024-06-19T15:14:55Z) - Tree-like process tensor contraction for automated compression of environments [0.0]
そこで本研究では,PT-MPO縮合の順序を逐次的にツリー様のスキームに変更することにより,ACEの整合性の向上が可能であることを示す。
事前選択手法の欠点は、MPO圧縮が最適以下であり、逐次結合や圧縮よりもエラーの蓄積が多いことである。
論文 参考訳（メタデータ） (2024-05-26T12:32:57Z) - Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。
以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
論文 参考訳（メタデータ） (2024-04-15T12:38:46Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image
Compression [63.56922682378755]
本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。
提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。
実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
論文 参考訳（メタデータ） (2023-08-17T01:34:51Z) - Stochastic Interpolants: A Unifying Framework for Flows and Diffusions [18.299322342860517]
フローベースおよび拡散ベースを統一する生成モデルのクラスを紹介する。
これらのモデルは、Albergo と VandenEijnden (2023) で提案されたフレームワークを拡張し、インターポーラントと呼ばれる広範囲の連続時間プロセスの使用を可能にした。
論文 参考訳（メタデータ） (2023-03-15T17:43:42Z) - Compressed Empirical Measures (in finite dimensions) [4.73194777046253]
有限次元再生核ヒルベルト空間(RKHS)の文脈における経験的尺度の圧縮手法について検討する。
そのようなコアセットがどれほど大きいかを制御する重要な量は、経験的凸集合に含まれる経験的測度の周りにある最大の球の大きさである。
論文 参考訳（メタデータ） (2022-04-19T12:25:41Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳（メタデータ） (2020-07-01T04:35:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。