論文の概要: Shared Stopping Decisions Change Answers in HQQ Cache Quantization

• arxiv url: http://arxiv.org/abs/2610.06251v1
• Date: Mon, 05 Oct 2026 12:47:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 17:26:18.702138
• Title: Shared Stopping Decisions Change Answers in HQQ Cache Quantization
• Title（参考訳）: HQQキャッシュ量子化における共有停止決定の回答
• Abstract要約: 言語モデルシステムはスループットを問う質問をバッチするが、その入力と数値の実行が固定された場合、無関係な質問は対象の答えを変えるべきではない。 生成時に再利用された注目表現を格納するキーキャッシュと値キャッシュの圧縮について検討する。 リクエストローカルなイテレーショングループでは、TransformersのHalf-Quadratic Quantization (HQQ)バックエンドは、圧縮パラメータを別々に更新するが、共有平均エラーを使用して、すべての更新が停止したタイミングを決定する。
• 参考スコア（独自算出の注目度）: 11.866179260700669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-model systems batch questions for throughput, but unrelated questions should not change a target's answer when its input and numerical execution are fixed. We study compression of the key and value cache, which stores attention representations reused during generation. With request-local groups, Transformers' Half-Quadratic Quantization (HQQ) backend updates compression parameters separately but uses a shared average error to decide when all updates stop. Replacing only the question batched with the target changes four-bit HQQ answers in 170/384 test comparisons across two models. Replaying the other execution's update counts reproduces its complete answer and cache fingerprints in every changed pair, in both directions. Computing the stopping mean in FP32 reduces cache differences but leaves answer changes. Native HQQ also changes confirmed numerical correctness in eight arithmetic pairs. Fixed iterations and request-local stopping remove observed companion dependence under matched controls. Request-local stopping remains sensitive to synthetic padding changes at the tensor level. Fixing the original iteration budget removes this decision path without tuning. Neither repair has an established quality advantage, and natural rebatching still changes answers. Request-independence audits must cover stopping decisions as well as quantization groups.
• Abstract（参考訳）: 言語モデルシステムはスループットを問う質問をバッチするが、その入力と数値の実行が固定された場合、無関係な質問は対象の答えを変えるべきではない。 生成時に再利用された注目表現を格納するキーキャッシュと値キャッシュの圧縮について検討する。 リクエストローカルなグループでは、TransformersのHalf-Quadratic Quantization (HQQ)バックエンドは、圧縮パラメータを別々に更新するが、共有平均エラーを使用して、すべての更新が停止するタイミングを決定する。 ターゲットとバッチした質問だけをリプレースすると、2つのモデルで170/384のテスト比較で4ビットHQQの回答が変わる。 他の実行の更新をリプレイすることは、その完全な回答を再現し、変更された各ペアの指紋を両方の方向にキャッシュする。 FP32の停止平均を計算すると、キャッシュの差は減るが、答えは変わる。 ネイティブHQQは8組の算術ペアで確認された数値の正しさも変更した。 修正されたイテレーションとリクエストローカル停止は、一致したコントロールの下で観察された伴従依存を取り除く。 要求局所停止はテンソルレベルでの合成パディング変化に敏感である。 オリジナルのイテレーション予算の修正は、チューニングせずにこの決定パスを削除します。 どちらの修復も確立された品質上の利点はなく、自然な再バッチは依然として答えを変える。 要求独立監査は、定量化グループと同様に、決定の停止をカバーしなければなりません。

関連論文リスト

• RoutePrism: Tracing Construction Order Effects in Agent Memory [16.745093090677475]
  RoutePrismは、2つの処理順序で同じソースプールから2回メモリを構築する。 再注文によって取り消されたレコードが実際にタスク関連証拠であったかどうかの4条件の介入テストが一致した。
  論文  参考訳（メタデータ） (2026-09-28T02:37:57Z)
• BEFORE THE FLIP: Measuring Hidden Score Shifts In Quantized Vision Language Models Before The Answer Changes for Visual Question Answering [1.860114438308802]
  量子化により、ヴィジュアル言語モデル(VLM)は、より少ないビットで重みを表現することで、保存と実行がより安価になる。 圧縮後の視覚的質問応答(VQA)に対する回答は期待通りだが、基礎となるスコア(ログ確率)の変化を隠蔽することができる。 圧縮によるスコアの変化と、画像の内部表現や画像トークンを1つの固定平均トークンに置き換えることによる変化を比較する。 次に、1つの重み群の精度を高めて、余分なビットがどこにあるかを特定し、各質問に対して異なるグループを選択することが、シャッフルされた制御以上の利益をもたらすかどうかをテストする。
  論文  参考訳（メタデータ） (2026-09-07T01:38:42Z)
• Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving [0.0]
  サービスエンジンがリクエスト間で共有プロンプトプレフィックスのキーと値テンソルを再利用するプリフィックスキャッシュは、主要なオープンソーススタックでデフォルトで有効になっている。 キャッシュを有効にし、2つのエンジンと4つの重み付けフォーマットで無効にする。 繰り返し実行はすべての構成においてビット識別され、800回中0回であり、他の非決定性源を0.5%に制限している。
  論文  参考訳（メタデータ） (2026-09-04T05:27:34Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• What Does a Temporal Benchmark Score Measure? Decomposing Channel Use in Video VLM Evaluation [1.2183405753834562]
  時間的ビデオ質問応答ベンチマークのスコアは、あるモデルが時間的理解を持っていることを測ることを目的としているが、それは2つの質問を混同している。 Molmo2は前方イベントの読み上げ順序をオフに、Qwen3-VLは実際に見た逆イベントに応答し、視覚的順序(比較的)を読む。 この分割は2つのベンチマークと2つのスケールでの複数の時間的タスクにまたがっており、アクティベーションパッチは、競合の成果物ではなく、実際の内部プロパティであることを示している。
  論文  参考訳（メタデータ） (2026-07-14T03:26:33Z)
• StepCache: Step-Level Reuse with Lightweight Verification and Selective Patching for LLM Serving [0.0]
  StepCacheはバックエンドに依存しないステップレベルの再利用レイヤで、出力を順序付けられたステップに分割します。 StepCacheは、選択的パッチによって失敗したリージョンのみを再生する。 平均レイテンシは2.13秒から0.67秒、中央レイテンシは2.42秒から0.01秒、p95レイテンシは3.38秒から3.30秒に減少する。
  論文  参考訳（メタデータ） (2026-03-24T17:19:26Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• Once-for-All Sequence Compression for Self-Supervised Speech Models [62.60723685118747]
  自己教師型音声モデルのための一括圧縮フレームワークを提案する。 このフレームワークは様々なタスクで評価され、固定圧縮率の変種と比較して限界劣化を示す。 また、適応圧縮率学習についても検討し、グリッド探索を必要とせず、タスク固有の好ましいフレーム期間を選択する能力を示す。
  論文  参考訳（メタデータ） (2022-11-04T09:19:13Z)
• Tell Me How to Ask Again: Question Data Augmentation with Controllable Rewriting in Continuous Space [94.8320535537798]
  機械読解(MRC)、質問生成、質問答え自然言語推論タスクのための制御可能な書き換えベースの質問データ拡張(CRQDA)。 質問データ拡張タスクを制約付き質問書き換え問題として扱い、コンテキスト関連、高品質、多様な質問データサンプルを生成する。
  論文  参考訳（メタデータ） (2020-10-04T03:13:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。