論文の概要: Minimal-Intervention KV Retention via Set-Conditioned Diversity

• arxiv url: http://arxiv.org/abs/2605.14292v2
• Date: Sun, 17 May 2026 02:21:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:45.993271
• Title: Minimal-Intervention KV Retention via Set-Conditioned Diversity
• Title（参考訳）: セットコンディション・ダイバーシティによる最小干渉KV保持
• Abstract要約: 小さな予算でのKVキャッシュ圧縮は、キャッシュ表現、ヘッドワイドルーティング、圧縮ケイデンス、デコード動作、予算内スコアリングにまたがる複雑な設計空間である。 本稿では,TriAttentioncitemao2026triattention Retention scorerの1機能的変更を提案する。 事前登録されたプロトコルは、凍結した開発スプリットで$をチューニングし、非結合のホールトアウトスプリットで$ = 0.5$、$$$は4つのうち2つでBonferroniをクリアする。
• 参考スコア（独自算出の注目度）: 7.208745673318648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: KV-cache compression at small budgets is a crowded design space spanning cache representation, head-wise routing, compression cadence, decoding behavior, and within-budget scoring. We study seven mechanisms across these five families under matched mean cache on long-form mathematical reasoning (MATH-500~\cite{hendrycks2021math}) with two distilled-reasoning models (Qwen-7B and Llama-8B variants of DeepSeek-R1-Distill~\cite{deepseek2025r1}) at budgets $b \in \{64, 128\}$. All seven were rejected. We then propose $α$, a one-function modification to the TriAttention~\cite{mao2026triattention} retention scorer that replaces argmax-top-$k$ with greedy facility-location-inspired selection under a V-space redundancy penalty controlled by a single weight $λ$. A pre-registered protocol tunes $λ$ on a frozen development split and confirms on a disjoint held-out split; with $λ= 0.5$, $α$ clears Bonferroni on two of the four (model, budget) cells (Qwen $b{=}128$ and Llama $b{=}64$), no cell is significantly negative, and the pre-registered Branch~A triggers. The finding is asymmetric: a minimal scoring modification beat heavier structural redesigns in this regime, and the combined matched-memory, sympy-graded, held-out confirmation protocol is the evidence standard that made the asymmetry visible.
• Abstract（参考訳）: 小さな予算でのKVキャッシュ圧縮は、キャッシュ表現、ヘッドワイドルーティング、圧縮ケイデンス、デコード動作、予算内スコアリングにまたがる複雑な設計空間である。 長形数理推論 (MATH-500~\cite{hendrycks2021math}) において,2つの蒸留推論モデル (DeepSeek-R1-Distill~\cite{deepseek2025r1} の変種 Qwen-7B および Llama-8B 変種) を予算 $b \in \{64, 128\}$ で整合平均キャッシュで検討した。 7人全員が解雇された。 次に,TriAttention~\cite{mao2026triattention} Retention scorerの1関数修飾である$α$を提案する。 事前登録されたプロトコルは、凍結した開発スプリットで$λ$をチューニングし、非結合のホールトアウト分割で確認する;$λ=0.5$, $α$ clears Bonferroniを4つの(モデル、予算)セル(Qwen $b{=}128$とLlama $b{=}64$)のうちの2つ(Qwen $b{=}128$とLlama $b{=}64$)で、セルが著しく陰性であり、事前登録されたブランチ~Aがトリガーする。 その発見は非対称であり、最小限のスコアリング修正が、この体制におけるより重い構造的再設計を破り、一致したメモリ、シンプシーグレード、保持された確認プロトコルが非対称性を可視化した証拠標準である。

関連論文リスト

• Fixed-order postselected CHSH reference acquisition for parity-constrained spatial-mode qubits on a commercial cloud photonic processor [0.0]
  我々は,Quandelaの商用クラウドアクセス可能なベレノスプロセッサ上で,2つの符号化されたフォトニックキュービットに対して,Clauser-Horne-Shimony-Holt (CHSH) の取得と報告を行う。 各論理キュービットは、8モードの単一光子レジスタの7次元ゼロサムセクターにおける2次元空間モード部分空間である。
  論文  参考訳（メタデータ） (2026-08-13T01:08:02Z)
• Approximate Speculative Decoding [2.7677713446315946]
  投機的復号化は、ターゲットモデルと並行してドラフトブロックを検証することで自己回帰生成を加速する。 我々は、二項第一ミスマッチトランケーションを予算化された最長選択に置き換えるトレーニング不要な検証器であるtextbf Speculative Decoding (ASD) を導入する。 ASDは新しいドラフトモデルも微調整も必要ありません。
  論文  参考訳（メタデータ） (2026-08-04T10:45:24Z)
• Top-$k$ Pareto Bandits: Hypervolume Regret for Multi-Objective Slate Selection [48.83076933238825]
  我々は,各ラウンドにおいてエージェントが$k$アームのスレートを選択し,それらの$d$次元報酬ベクトルを半帯域フィードバック下で観察する多目的バンディット問題を考える。 この目的を、選択されたアームのサブセットによって誘導される支配的な超体積を通して定式化し、最高のサイズに対して$$$-approximate hypervolume regretを定義する。 ギャップのない後悔境界を持つ$tildeO(dsqrtnkT)$を、ギャップとともにすべてのインスタンスに保持する。
  論文  参考訳（メタデータ） (2026-07-28T21:10:39Z)
• Beyond the Hard Budget: Sparsity Regularizers for More Interpretable Top-k Sparse Autoencoders [9.291632832739822]
  我々はTop-k$アーキテクチャと互換性のある2つの空間正規化器を導入する。 私たちの中心的な発見は、互いに排他的というよりは、ハードなアーキテクチャのスパーシリティとソフトなスパーシリティの正則化が相補的であることです。
  論文  参考訳（メタデータ） (2026-06-25T17:34:39Z)
• When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
  10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。 平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
  論文  参考訳（メタデータ） (2026-05-25T15:57:11Z)
• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• Sequential Minimal Optimization for $\varepsilon$-SVR with MAPE Loss and Sample-Dependent Box Constraints [0.0]
  我々は、$varepsilon$-SVRciteVapnik 1995, Drucker 1997, Smola2004から生じる二次双対問題に対して、MAPE(Mean Absolute Percentage Error)を最小化するために、逐次最小最適化(SMO)アルゴリズムを導出した。 実装はオープンソースの textttpsvr R packageciteBenavidesHerrera2026Rpsvr で利用可能である。
  論文  参考訳（メタデータ） (2026-05-02T13:51:46Z)
• ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
  LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。 ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-26T20:39:19Z)
• Learning Hippo: Multi-attractor Dynamics and Stability Effects in a Biologically Detailed CA3 Extension of Hopfield Networks [0.0]
  本稿では,CA3における古典ホップフィールド/マーの自動連想メモリモデルの拡張について述べる。 われわれは10個体群(非対称錐体サブタイプ2種,GABA作動性インターニューロンクラス8種),4つのコンパートメント,複数ルール可塑性,およびバイモーダルコリン作動性エンコーディング/コンソリデーションサイクルを実装した。
  論文  参考訳（メタデータ） (2026-04-22T15:28:17Z)
• Training Transformers in Cosine Coefficient Space [0.0]
  キャラクターレベルのシェイクスピアのスクラッチから訓練されたトランスフォーマーは、検証損失が1.604$で$K = mn/2$に達した。 同じトレーニング可能なパラメータ数でのランク48のLoRA分解は、わずか1.801$である。 ランダムな正規直交基底はノイズ中のDCTを$K = mn/2$で一致させ、$K = mn/10$と$K = mn/20$で圧縮すると、高階行列をホストできる部分空間が損失を低く保つことを示す。
  論文  参考訳（メタデータ） (2026-04-06T05:39:31Z)
• Thin Keys, Full Values: Reducing KV Cache via Low-Dimensional Attention Selection [15.230462656535034]
  標準変換器の注意は、クエリ、キー、および値(d_q = d_k = d_v = dmodel$)に同じ次元を使用する。 我々の洞察では、これらの成分は基本的に異なる役割を担っており、この対称性は不要である。 我々は、選択は本質的に値移動よりも低次元の操作であり、$Nの関連パターンを区別するためには$BigO(log N)次元しか必要としないと主張している。
  論文  参考訳（メタデータ） (2026-02-16T23:45:39Z)
• Burau representation, Squier's form, and non-Abelian anyons [53.92822954974537]
  ブレイド群 $B_3$ のブラウ表現から構築した周波数可変2次元非アベリア的演算順序制御を導入する。 Squier 陽性ウィンドウの向こう側にある$Delta(omega)$の符号変更は、因果順序の交互に構成的かつ破壊的干渉を示す。 数値シミュレーションにより、拡張と抑制の両方が確認され、最小の$B_3$ブレイド制御が確立される。
  論文  参考訳（メタデータ） (2025-10-21T00:25:21Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive Multi-Step Bootstrap [84.66885506098724]
  本稿では,アダプティブ・マルチステップ・ブートストラップ (AMB) を用いた表層有限水平マルコフ決定過程 (MDP) のモデルフリーアルゴリズムを提案する。 AMBは,部分最適ギャップの逆の和でのみスケールする,ギャップ依存的後悔境界を達成できることを示す。 また、AMB は $frac|Z_mul|Delta_min$ regret という追加の $frac|Z_mul|Delta_min$ を被っていることも示しています。
  論文  参考訳（メタデータ） (2021-02-09T07:46:34Z)
• Towards Defending Multiple $\ell_p$-norm Bounded Adversarial Perturbations via Gated Batch Normalization [120.99395850108422]
  既存の敵防衛は、個々の摂動に対するモデル堅牢性を改善するのが一般的である。 最近の手法では、複数の$ell_p$球における敵攻撃に対するモデルロバスト性を改善するが、各摂動型に対するそれらの性能は、まだ十分ではない。 我々は,複数の$ell_pの有界摂動を守るために,摂動不変予測器を逆向きに訓練するGated Batch Normalization (GBN)を提案する。
  論文  参考訳（メタデータ） (2020-12-03T02:26:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。