論文の概要: Two For The Price Of One: Curvature-Aware Pruning Preserves Influence Functions Too

• arxiv url: http://arxiv.org/abs/2610.18516v1
• Date: Tue, 13 Oct 2026 15:09:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 21:00:10.247451
• Title: Two For The Price Of One: Curvature-Aware Pruning Preserves Influence Functions Too
• Title（参考訳）: 曲率を意識したプルーニングは、影響関数も保存する
• Abstract要約: 訓練後プルーニングは効率的な配置を可能にするが,従来の手法ではスパースモデルと密集モデルとの整合性は保たない。 圧縮モデルの下流性能と影響関数保存による情報保持能力の新たな関係について検討する。 我々は,事前学習した重量のプルーニングと低ランク分解の両方をサポートする新しいADMMベースの$textttCACTUS$を紹介した。
• 参考スコア（独自算出の注目度）: 20.42240448541545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training pruning enables efficient deployment, but conventional methods do not explicitly preserve internal-gradient alignment between sparse and dense models. We study novel connections between downstream performance of compressed models and the ability to retain gradient information via influence-function preservation. Central to this connection is a curvature-aware objective that accounts for both layer activations and backpropagated gradients. Despite its promise, this objective remains underexplored in pruning due to a lack of efficient solvers. We introduce $\texttt{CACTUS}$, a novel ADMM-based optimizer supporting both pruning and sparse-plus-low-rank decompositions of pre-trained weights. Compared to LLM-Surgeon which targets the same objective, $\texttt{CACTUS}$ can achieve over an order-of-magnitude speedup. At $50\%$ pruning of Qwen3-4B, $\texttt{CACTUS}$ reduces the C4 perplexity gap to the dense model by $45\%$, improves compressed-to-dense per-sample gradient cosine similarity on WikiText-2 from $0.670$ to $0.755$, and runs over $28\times$ faster than LLM-Surgeon on substantially weaker hardware. By preserving influence functions, $\texttt{CACTUS}$ supports effective data selection. On Llama-3.2-3B, fine-tuning a fresh dense model on the $5\%$ of data selected by $\texttt{CACTUS}$ achieves $49.44\%$ accuracy on BIG-Bench Hard, compared with $47.22\%$ using ALPS and $49.54\%$ using dense-model selection. Finally, integrating $\texttt{CACTUS}$ with LoGRA, a recent gradient-projection strategy, on Qwen3-4B with MLP layers pruned to 2:4 sparsity and a rank-64 correction retains a $0.711$ cosine alignment with dense LoGRA-projected C4 gradients.
• Abstract（参考訳）: 訓練後プルーニングは効率的な配置を可能にするが、従来の手法ではスパースモデルと密集モデルの間の内部段階的なアライメントを明示的に保持していない。 本研究では,圧縮モデルの下流性能と,影響関数保存による勾配情報の保持能力の新たな関係について検討する。 この接続の中心は、層活性化とバックプロパゲート勾配の両方を考慮に入れた曲率を意識した目的である。 その約束にもかかわらず、効率的な解法がないため、この目的はプルーニングにおいて過小評価されている。 我々は,事前学習した重みのプルーニングと低ランク分解の両方をサポートするADMMベースの新しいオプティマイザである$\texttt{CACTUS}$を紹介した。 同じ目的を目標とする LLM-Surgeon と比較すると、$\texttt{CACTUS}$ は次数のスピードアップによって達成できる。 Qwen3-4Bの50.%のプルーニングで、$\textt{CACTUS}$はC4のパープレキシティギャップを45.%の高密度モデルに減らし、WikiText-2の圧縮された1サンプルあたりの勾配コサイン類似性を0.670ドルから0.755ドルに改善し、LLM-Surgeonよりかなり弱いハードウェアで28ドル以上高速に動作させる。 影響関数を保存することで、$\texttt{CACTUS}$は効果的なデータ選択をサポートする。 Llama-3.2-3Bでは、$\texttt{CACTUS}$が選択した5\%のデータに対して新鮮な密度のモデルを微調整し、BIG-Bench Hardで49.44\%の精度を達成する。 最後に、$\texttt{CACTUS}$を最近の勾配射影戦略であるLoGRAと統合し、Qwen3-4B 上で MLP 層を 2:4 間隔に切断し、ランク64 の補正は、密度の LoGRA を投影した C4 勾配で 0.711$ のコサインアライメントを保持する。

関連論文リスト

• Does the VGGT Family Need All Its Layers? [55.81487806596663]
  VGGT,3ドル,VGGT-$:3,018プルーニング構成における層冗長性について検討した。 取り外し可能な層が2つの冗長領域に集結しているのに対して、層間をまたがる削除は、常に破壊的である。 CKAは、間隔分解のためのより安価な表現ベースのプロキシを提供し、プルーニング品質とキャリブレーションコストのトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-09-29T06:52:07Z)
• Scaling Attention via Feature Sparsity [50.64995497733461]
  超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。 本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。 GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
  論文  参考訳（メタデータ） (2026-03-17T08:41:50Z)
• LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution [62.830878652285406]
  トレーニングデータ属性は、モデルの予測に最も影響したトレーニング例を特定する。 LoRIFは、両方のボトルネックに対処するために、勾配の低ランク構造を利用する。 数百万のサンプルでデータセットでトレーニングされた0.1Bから70Bパラメータのモデルで、LoRIFは最大20$timesのストレージ削減とクエリ時の高速化を実現している。
  論文  参考訳（メタデータ） (2026-01-29T16:18:34Z)
• ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization [99.96330641363396]
  ARMOR: (Adaptive Representation with Matrix-factorization) は、新しい1ショットのポストトレーニングプルーニングアルゴリズムである。 ARMORは重量を直接刈る代わりに、各重量行列を2:4のスパースコアに分解する。 ARMORは、幅広いダウンストリームタスクとパープレキシティ評価において、最先端の2:4プルーニング手法よりも一貫して、はるかに優れています。
  論文  参考訳（メタデータ） (2025-10-07T02:39:20Z)
• A3 : an Analytical Low-Rank Approximation Framework for Attention [14.649496050074735]
  トレーニング後の低ランク近似フレームワークである$tt Attt 3$を提案する。 tt Attt 3$ は SoTA よりも優れたパフォーマンスを維持していることを示す。 また、KVキャッシュ圧縮、量子化、性能向上のための混合ランク代入など、$tt Att 3$の汎用性も示す。
  論文  参考訳（メタデータ） (2025-05-19T10:29:32Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Variance-reduced Clipping for Non-convex Optimization [24.765794811146144]
  グラディエント・クリッピング(Gradient clipping)は、大規模言語モデリングのようなディープラーニングアプリケーションで用いられる技法である。 最近の実験的な訓練は、秩序の複雑さを緩和する、非常に特別な振る舞いを持っている。
  論文  参考訳（メタデータ） (2023-03-02T00:57:38Z)
• Deep Learning Meets Projective Clustering [66.726500395069]
  NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。 計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
  論文  参考訳（メタデータ） (2020-10-08T22:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。