論文の概要: CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search

• arxiv url: http://arxiv.org/abs/2606.01544v1
• Date: Mon, 01 Jun 2026 01:44:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.857675
• Title: CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search
• Title（参考訳）: CRePE: 効率的検索による後処理における畳み込み認識の相対的重要性
• Abstract要約: PTP(Post-training pruning)は、メモリと計算コストの削減に有効な手法である。 局所的な2次元コンテキストと適応係数を相対的重要度スコアに組み込んだtextbfCRePEを提案する。 CRePEは、様々なモデルとスパーシティ設定で既存のPTPメソッドを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 1.9000311354194375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying Large Language Models (LLMs) in practice incurs substantial memory and computational costs. Post-training pruning (PTP) is an effective approach to reducing these costs by removing weights without additional training. Among existing methods, RIA introduces relative importance scores normalized by row and column sums, achieving state-of-the-art accuracy. However, RIA considers only 1D cross-shaped (row/column) directional information and assigns equal weight to row and column contributions. In this paper, we propose \textbf{CRePE}, which incorporates 2D local neighborhood context and adaptive coefficients into Relative Importance scoring. CRePE consistently outperforms existing PTP methods across diverse models and sparsity settings. However, identifying optimal adaptive coefficients via perplexity (PPL)-based hill climbing requires numerous PPL evaluations and approximately 11 hours of search time. To address this, we propose \textbf{PHO} (Proxy-based Hyperparameter Optimization), which eliminates the need for repeated PPL measurements and reduces the search time to approximately 20 minutes. Furthermore, the optimal hyperparameter configuration found by PHO on one model transfers well to other models, demonstrating strong generalization. Finally, we verify that CRePE can be orthogonally combined with existing techniques including Channel Permutation, non-uniform sparsity allocation, and re-pruning methods.
• Abstract（参考訳）: LLM(Large Language Models)を実際にデプロイすると、かなりのメモリと計算コストが発生する。 ポストトレーニングプルーニング(PTP)は、追加トレーニングなしで重量を除去することでこれらのコストを削減するための効果的なアプローチである。 既存の手法の中で、RIAは行と列の和によって正規化された相対的重要性スコアを導入し、最先端の精度を実現している。 しかし、RIAは1次元のクロスフォーム(ロウ/カラム)方向の情報のみを考慮し、行と列のコントリビューションに等しい重みを割り当てる。 本稿では,2次元局所近傍コンテキストと適応係数を相対的重要度スコアに組み込んだ「textbf{CRePE}」を提案する。 CRePEは、様々なモデルとスパーシティ設定で既存のPTPメソッドを一貫して上回っている。 しかし、パープレキシティ(PPL)に基づくヒルクライミングによる最適適応係数の同定には、多くのPPL評価と約11時間の探索時間が必要である。 そこで本研究では,PPLの繰り返し測定の必要性を排除し,探索時間を約20分に短縮する「textbf{PHO} (Proxy-based Hyperparameter Optimization)」を提案する。 さらに、PHOが1つのモデル上で発見した最適ハイパーパラメータ構成は、他のモデルによく伝達され、強い一般化が示される。 最後に,CrePEがChannel Permutation, non-uniform sparsity allocation, re-pruning methodなどの既存の手法と直交的に結合可能であることを検証する。

関連論文リスト

• Can Small Training Runs Reliably Guide Data Curation? Rethinking Proxy-Model Practice [109.9635246405237]
  データ品質に関する実験結果が、ハイパーパラメータのトレーニングに微調整を加えることで、反転できることを示す。 評価プロトコルに簡単なパッチを導入し、プロキシモデルのトレーニングに学習率を削減した。 実験により,データキュレーションの4つの重要な次元をカバーする23種類のデータレシピに対して,このアプローチを検証した。
  論文  参考訳（メタデータ） (2025-12-30T23:02:44Z)
• CoLSE: A Lightweight and Robust Hybrid Learned Model for Single-Table Cardinality Estimation using Joint CDF [7.945011337356916]
  カーディナリティ推定は、クエリ最適化の重要なコンポーネントである。 単点濃度推定のためのハイブリッド学習手法であるCoLSEを提案する。 実験の結果,CoLSEは精度,トレーニング時間,レイテンシ,モデルサイズにおいて良好なトレードオフを実現し,既存の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-12-14T10:08:20Z)
• Singular Value Decomposition on Kronecker Adaptation for Large Language Model [0.8747606955991707]
  大規模な事前訓練されたトランスフォーマーモデルは、様々な言語や推論タスクにまたがって最先端の結果が得られる。 完全な微調整は、かなりのストレージ、メモリ、計算オーバーヘッドを発生させる。 我々は, Kronecker-product tensor factorization と SVD-driven initialization と Dynamic rank selection を組み合わせた新しい PEFT 戦略である SoKA を提案する。
  論文  参考訳（メタデータ） (2025-06-18T08:28:53Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models [53.638791265113625]
  空間保存型大規模言語モデルのための効率的な微調整法 コードはhttps://github.com/Lucky-Lance/SPP.comで公開される。
  論文  参考訳（メタデータ） (2024-05-25T04:55:27Z)
• c-TPE: Tree-structured Parzen Estimator with Inequality Constraints for Expensive Hyperparameter Optimization [45.67326752241075]
  本稿では,この制約に対処するための制約付きTPE (c-TPE) を提案する。 提案するエクステンションは,既存の取得関数とオリジナルのTPEの単純な組み合わせに留まらず,パフォーマンスの低下の原因となる問題に対処する修正も含んでいる。 実験では,C-TPEは,不等式制約のある81のHPOに対して,統計的に有意な既存の手法の中で,最高の平均ランク性能を示すことを示した。
  論文  参考訳（メタデータ） (2022-11-26T00:25:11Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Combined Pruning for Nested Cross-Validation to Accelerate Automated Hyperparameter Optimization for Embedded Feature Selection in High-Dimensional Data with Very Small Sample Sizes [3.51500332842165]
  非常に小さなサンプルサイズを持つ高次元データの無関係な特徴を排除するための木に基づく組込み特徴選択は、モデル構築プロセスに最適化されたハイパーパラメータを必要とする。 標準的なプルーニングアルゴリズムは、性能評価基準のばらつきが大きいため、計算が遅れたり、計算を中断するリスクを負わなければならない。 我々は、最先端の半減期プルーナーの使用に適応し、ドメインまたは事前知識に基づく2つの新しいプルーニング戦略と組み合わせる。 提案した3層プルーナーの組み合わせは、将来有望な試行を継続すると同時に、現状の使用と比較して、最大81,3%まで製造されるモデルの数を削減している。
  論文  参考訳（メタデータ） (2022-02-01T17:42:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。