論文の概要: Effective Model Pruning

• arxiv url: http://arxiv.org/abs/2509.25606v1
• Date: Tue, 30 Sep 2025 00:01:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:44:59.966178
• Title: Effective Model Pruning
• Title（参考訳）: 効率的なモデルプルーニング
• Authors: Yixuan Wang, Dan Guralnik, Saiedeh Akbari, Warren Dixon,
• Abstract要約: EMP(Effective Model Pruning)は、プルーニングに関する基本的な問題に対処する、文脈に依存しないパラメータフリーなルールである。 EMPはパラメータのスコア付けやモデルのプーンの方法を規定していないが、代わりに任意のプルーニング基準に適用可能な、普遍的な適応しきい値を提供する。 我々は,N_effの有効性を,様々な基準とモデルにまたがって拡張しきい値のベータ*N_effで定式化することで検証する。
• 参考スコア（独自算出の注目度）: 3.8091555144548046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Effective Model Pruning (EMP), a context-agnostic, parameter-free rule addressing a fundamental question about pruning: how many entries to keep. EMP does not prescribe how to score the parameters or prune the models; instead, it supplies a universal adaptive threshold that can be applied to any pruning criterion: weight magnitude, attention score, KAN importance score, or even feature-level signals such as image pixel, and used on structural parts or weights of the models. Given any score vector s, EMP maps s to a built-in effective number N_eff which is inspired by the Inverse Simpson index of contributors. Retaining the N_eff highest scoring entries and zeroing the remainder yields sparse models with performance comparable to the original dense networks across MLPs, CNNs, Transformers/LLMs, and KAN, in our experiments. By leveraging the geometry of the simplex, we derive a tight lower bound on the preserved mass s_eff (the sum of retained scores) over the corresponding ordered probability simplex associated with the score vector s. We further verify the effectiveness of N_eff by pruning the model with a scaled threshold \b{eta}*N_eff across a variety of criteria and models. Experiments suggest that the default \b{eta} = 1 yields a robust threshold for model pruning while \b{eta} not equal to 1 still serves as an optional adjustment to meet specific sparsity requirements.
• Abstract（参考訳）: EMP(Effective Model Pruning)は、プルーニングに関する基本的な問題に対処する、文脈に依存しないパラメータフリーなルールである。 EMPはパラメータのスコアやプーンを定めておらず、代わりに、重量、注意スコア、重要度スコア、画像ピクセルのような特徴レベルの信号など、どのプルーニング基準にも適用可能な、普遍的な適応しきい値を提供する。 任意のスコアベクトル s が与えられたとき、EMP は s を、コントリビュータの逆シンプソン指数にインスパイアされた実効数 N_eff に写像する。 実験では,N_effの最高スコアを保持し,残りのスコアをゼロにすると,MLP,CNN,Transformers/LLMs,Kanにまたがる元の高密度ネットワークに匹敵する性能を持つスパースモデルが得られる。 単純点の幾何を利用して、スコアベクトルsに付随する順序確率単純点上の保存質量s_eff(保持スコアの和)の厳密な下界を導出する。 さらに, N_eff の有効性を, 様々な基準とモデルで拡張しきい値 \b{eta}*N_eff で定式化することで検証する。 実験では、デフォルトの \b{eta} = 1 がモデルプルーニングの頑健なしきい値となるのに対して、 \b{eta} が 1 に等しくない場合は、特定の疎度要求を満たすための任意の調整として機能することを示唆している。

関連論文リスト

• pared: Model selection using multi-objective optimization [0.351124620232225]
  本稿では,モデル選択のための多目的最適化を実現するために,Rパッケージを解析する。 提案手法では,ガウス過程に基づく最適化を用いて,望ましいトレードオフを表す解を効率的に同定する。
  論文  参考訳（メタデータ） (2025-05-27T20:20:04Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Partial sequence labeling with structured Gaussian Processes [8.239028141030621]
  部分列ラベリングのための構造付きガウス過程を提案する。 予測の不確実性を符号化し、モデル選択やハイパーパラメータ学習に余分な労力を要しない。 いくつかのシーケンスラベリングタスクで評価を行い,実験結果から提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-09-20T00:56:49Z)
• Spike-and-Slab Generalized Additive Models and Scalable Algorithms for High-Dimensional Data [0.0]
  本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。 曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。 2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
  論文  参考訳（メタデータ） (2021-10-27T14:11:13Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。