論文の概要: QK-Wanda: Coupling Queries and Keys for Unstructured Pruning

• arxiv url: http://arxiv.org/abs/2610.01554v1
• Date: Thu, 01 Oct 2026 12:22:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.109317
• Title: QK-Wanda: Coupling Queries and Keys for Unstructured Pruning
• Title（参考訳）: QK-Wanda:非構造化プルーニングのためのクエリとキーの結合
• Abstract要約: 個々の削除コストによってクエリとキーウェイトをスコアするQK-Wandaを導入する。 我々は,TinyLlama,Llama 2,Llama 3,Qwen2.5の15モデルを対象に,0.5B-72BパラメータにまたがるQKのみのプルーニングを評価した。
• 参考スコア（独自算出の注目度）: 53.657104889705856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Wanda (Sun et al., 2024) prunes large language models by scoring weights independently within each linear projection, although queries and keys interact through dot products. We introduce QK-Wanda, which scores query and key weights by their individual deletion costs under an unmasked pre-RoPE reconstruction objective. It augments Wanda scores with information from the opposite projection (keys for query weights, and queries for key weights), allowing both projections to share a pruning budget. Its closed-form scores require no gradients or weight updates; full pruning takes 1.3% longer than Wanda on A100 and 3.1% longer on H200 with the calibration used in our main experiments. We evaluate QK-only pruning across 15 models from TinyLlama, Llama 2, Llama 3, and Qwen2.5, spanning 0.5B-72B parameters. Relative to Wanda, QK-Wanda reduces QK reconstruction error by an average of 60% at 50% sparsity and 45% at 80%. Downstream gains depend on the model. At 80% sparsity on Llama 2 70B, WikiText-2 and C4 perplexity decrease by 20.3% and 13.5%, while mean zero-shot accuracy rises by 5.94 percentage points. Qwen2.5-72B also improves, but Llama-3.1-70B has substantially higher perplexity despite lower reconstruction error. These results show both the promise of coupled pruning criteria and the limits of local reconstruction as a predictor of model quality.
• Abstract（参考訳）: Wanda (Sun et al , 2024) は、各リニアプロジェクション内で独立して重み付けを行うことで、大きな言語モデルを熟考するが、クエリとキーはドット製品を介して相互作用する。 提案するQK-Wandaは,個別の削除コストによってクエリとキーウェイトをスコア付けする。 これによってWandaは、反対のプロジェクション(クエリ重みのキーとキー重みのクエリ)からの情報でスコアを拡大し、両方のプロジェクションがプルーニング予算を共有することができる。 クローズドフォームのスコアは勾配や重量の更新は不要で、フルプルーニングはA100のワンダよりも1.3%長く、H200のキャリブレーションでは3.1%長い。 我々は,TinyLlama,Llama 2,Llama 3,Qwen2.5の15モデルを対象に,0.5B-72BパラメータにまたがるQKのみのプルーニングを評価した。 ワンダとは対照的に、QK-ワンダはQKの復元誤差を50%の間隔で平均60%、80%で45%削減する。 下流での利得はモデルによって異なる。 Llama 2 70Bでは80%の間隔でWikiText-2とC4のパープレキシティは20.3%、13.5%減少し、ゼロショットの精度は5.94ポイント上昇した。 Qwen2.5-72Bも改善されているが、Llama-3.1-70Bは復元誤差が低いにもかかわらずかなり高いパープレキシティを持つ。 これらの結果から, モデル品質の予測因子として, プルーニング基準と局所的復元の限界の両立が期待できることがわかった。

関連論文リスト

• A Universal Context-Reuse Layer for Cross-Model KV Sharing [7.914652203965336]
  我々は、ソースモデルによって生成されたKV状態を異なるターゲットモデルによって消費される表現に変換するエンフクロスモデルKV共有について検討する。 Qwen2.5-7B$rightarrow$ Qwen2.5-1.5Bの場合、翻訳されたKV状態はLongBench2の精度を27.59%から34.48%に改善し、ネイティブ1.5Bベースラインよりも6.89ポイント向上した。 クロスファミリーQwen2.5-1.5B$rightarrow$ Gemma-2-2B設定の場合、KVハンドオフは目標側のプリフィルコストを削減します。
  論文  参考訳（メタデータ） (2026-08-31T15:28:17Z)
• Capability-Stratified Degradation in Ternary Language Models [0.0]
  第三次言語モデルは重量を$-1,0,+1$に制限し、$log 3 approx 1.585$ bits/weightに近づいた。 量子化対応トレーニング(QAT)の72.4Mトークンを用いて、Qwen3.5-0.8B(752Mパラメータ)を3次重みに変換する。 結果のモデルであるCloeは、29のベンチマーク、表現診断、下流の微調整で評価される。
  論文  参考訳（メタデータ） (2026-08-28T19:22:38Z)
• TrustRoboReward: Preference-Ordered Isotonic Score Editing for Multi-Paradigm Robot Reward Models [40.42873860258522]
  優先順序等調スコア編集(POISE)を備えたマルチパラダイム報酬モデリングフレームワークであるTrustRoboRewardを提案する。 POISEはポイントワイズスコアを修正し、TrustJudgeが未解決のクロスパラダイム逆転競合を取り除く。 POISEでトレーニングされたQwen3-VL-4Bは、全体的な報酬スコアが77.96%に達し、GPT-5-mini(78.09%、ギャップ0.13%)とほぼ一致し、最強のRoboReward-4Bベースラインを10.13%上回った。
  論文  参考訳（メタデータ） (2026-08-09T05:25:22Z)
• SAKI: Score-Aware Low-Rank Key Indexing with Random-Matrix Noise Correction for KV Retrieval [4.894648561808929]
  キー再構成の品質よりも注意点を保存できる学習自由なKVキャッシュインデックスを開発した。 ランク32では、PCAの残るトップ64リコールエラーの13～30%を除去する。 1モデルあたりの注目度は68～99%向上し、より深い層で最大の増加率となる。
  論文  参考訳（メタデータ） (2026-08-04T06:59:29Z)
• Compositional Reasoning Depth Predicts Clinical AI Failure: Empirical Evidence Consistent with Transformer Compositionality Limits in Electronic Health Record Question Answering [0.6768558752130311]
  EHR質問応答対におけるホップ数とともにモノトン減少を示す。 ホップカウント(Hop count)は、EHR質問応答における大モデル誤差の理論的動機付きクロスアーキテクチャ予測器である。
  論文  参考訳（メタデータ） (2026-06-15T16:00:27Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• QCalEval: Benchmarking Vision-Language Models for Quantum Calibration Plot Understanding [37.18078731710843]
  量子キャリブレーションプロットのための最初のVLMベンチマークであるQCalEvalを紹介する。 超伝導量子ビットと中性原子にまたがる22の実験系から87種類のシナリオタイプにまたがる243試料について検討した。 最高の汎用ゼロショットモデルは平均スコア72.3に達し、多くのオープンウェイトモデルはマルチイメージのインコンテキスト学習で劣化する。
  論文  参考訳（メタデータ） (2026-04-28T17:28:33Z)
• ORCA: Open-ended Response Correctness Assessment for Audio Question Answering [41.72231074041232]
  本研究では,予測精度と不確実性の両方を予測するために,ベータ分布を用いた人的判断の変動をモデル化するフレームワークORCAを提案する。 我々は15のLALMから11,721のアノテーションを収集し,0.82(クリッペンドルフのα)のアノテータ間契約を達成した。
  論文  参考訳（メタデータ） (2025-11-28T14:41:48Z)
• Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
  デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。 我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。 全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
  論文  参考訳（メタデータ） (2025-08-28T04:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。