Fugu-MT 論文翻訳(概要): Precomputing the Future-Offset Average in TriAttention

論文の概要: Precomputing the Future-Offset Average in TriAttention

arxiv url: http://arxiv.org/abs/2607.13051v1
Date: Wed, 01 Jul 2026 22:24:57 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-19 21:54:20.413715
Title: Precomputing the Future-Offset Average in TriAttention
Title（参考訳）: トライアテンションにおける将来のオフセット平均値の事前計算
Abstract要約: TriAttentionは、長寿命LLMのKVキャッシュを縮小する方法である。キャッシュされた各キーは、どれだけの注意が集まるかによってスコア付けされ、最低スコアのキーは取り除かれる。提案手法を小型かつ高精度に補完する手法として提示し,数値的に確認する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: TriAttention is a recent method for shrinking the KV cache of long-reasoning LLMs: it scores each cached key by how much attention it is likely to receive and evicts the lowest-scoring ones. Because a key does not know how far away its future queries will sit, the score is averaged over a ladder of 17 possible future distances. We point out that this average is free: the future distance enters the score only through the position-dependent rotation, so the whole 17-fold average collapses--exactly, by a one-line algebraic identity--into a single per-band weight that is computed once, offline. Scoring a key then costs one evaluation instead of seventeen, with no change to which keys get pruned. The saving is modest and lives entirely in TriAttention's pruning-score computation, not in the attention kernel; we present it as a small, exact complement to their method, and we confirm the identity numerically.
Abstract（参考訳）: TriAttentionは、長期化LLMのKVキャッシュを縮小する最近の方法である。キーは、将来のクエリがどれくらいの距離にあるか分からないので、スコアは17のラグで平均される。この平均は自由であり、将来の距離は位置依存回転によってのみスコアに入るので、17倍の平均は実際には1行の代数的恒等式によって崩壊する。キーの表示には17ではなく1つの評価が必要で、どのキーがプルークされるかは変更されない。保存は控えめで、注目カーネルではなくTriAttentionのプルーニングスコア計算(pruning-score computing)に完全に存在する。

関連論文リスト

CAROL: Context-Aware Online Learning for Fuzzer Scheduling [30.06459480586687]
アンサンブルファズリングはターゲット上で複数のファズーを動作させ、スケジューラはそれらの間のCPU時間を割り当てる。本稿では,各ファザの現在の状況を利用したオンラインスケジューラCAROLを紹介する。 CAROLは、結果が異なるたびに3つのアンサンブルスケジューリングベースラインのそれぞれよりもユニークなバグをトリガーする。
論文参考訳（メタデータ） (2026-09-06T18:24:28Z)
What Matters for Aggressive Decoding-Time KV Eviction? Temporal Aggregation and Ranking Preservation [7.418932089055928]
指数移動平均(EMA)アグリゲーション(英語版)は、約オーダー保存スコアラの修正を消去セットレベルで大きく区別できない。我々は,EMAに基づく復号時間消去手法であるInertiaKVと,その周期的復号法であるInertia KV-Lazyを導入し,その復号スループットを1.34-1.46xとする。 6つのオープンウェイトなバックボーンとLongBench、LongBench-v2、RULERベンチマークで、結果は時間的アグリゲーションとランキング保存を、連続した設計要素として識別する。
論文参考訳（メタデータ） (2026-09-03T08:17:34Z)
Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文参考訳（メタデータ） (2026-07-30T02:42:51Z)
Semantic Early-Stopping for Iterative LLM Agent Loops [0.0]
連続したドラフト埋め込みが意味を変えるのをやめたとき、ループは停止する。各質問の完全な軌道を一度生成し、同じドラフトに対してすべての停止ポリシーを再生し、全てのLM-judgeコールをキャッシュします。最良のラウンドを選択するオラクルは、すべての実用政策に対して+0.115インフォメーションスコアを得る。
論文参考訳（メタデータ） (2026-06-25T13:24:21Z)
RANSAC Scoring Done Right [0.6678130184505635]
最も広く使われているRANSAC変種は、インレーヤを数えたり、残差閾値を超えて飽和するポイント当たりのスコアを和らげることで、候補モデルを評価する。通常の推論順序を逆転することで、この依存を排除します。単一の閉形式表現は、非形式的ジェフリーズ極限と情報的経験的ベイズ先行にまたがる。提案されたRANSACスコアは、不整合スケールが式から真に欠落している最初のスコアである。
論文参考訳（メタデータ） (2026-06-12T15:03:30Z)
VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation [4.694504497452662]
視覚言語モデル(VLM)は、マルチモーダルシステムの自動判断器としてますます使われているが、そのスコアは信頼性を示すものではない。本研究では,判断者の得点を校正した予測区間に変換する分布自由フレームワークである共形予測を用いて,この問題を考察する。本稿では,VLM-as-a-Judgeのコンフォメーション予測を3つの審査員と14の視覚的タスクカテゴリで初めて体系的に解析した。
論文参考訳（メタデータ） (2026-04-28T05:30:18Z)
Near-Oracle KV Selection via Pre-hoc Sparsity for Long-Context Inference [54.467557491325046]
本稿では,注意スコアの前にKVエントリを選択し,明示的な精度制御を行うプリホックスパシティ(PrHS)を提案する。 PrHSは検索オーバーヘッドを90%以上削減し、HShareよりも3倍高い精度で検索できる。これはLongBenchの平均劣化率を1%以下に抑え、FLOPを約15%減らし、9.9倍のレイテンシと2.8倍のスループットを得る。
論文参考訳（メタデータ） (2026-02-09T07:05:23Z)
FASA: Frequency-aware Sparse Attention [56.26881872333624]
本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
論文参考訳（メタデータ） (2026-02-03T06:09:06Z)
Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
論文参考訳（メタデータ） (2025-09-13T03:34:12Z)
Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-11-14T18:54:19Z)
A Policy for Early Sequence Classification [86.80932013694684]
最後の要素を待たずにできるだけ早くシーケンスを分類する新しい方法を提案する。複数の実験に対して平均AUCは11.8%増加した。
論文参考訳（メタデータ） (2023-04-07T03:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。