論文の概要: High-Fidelity Pruning for Large Language Models

• arxiv url: http://arxiv.org/abs/2603.08083v1
• Date: Mon, 09 Mar 2026 08:24:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.700982
• Title: High-Fidelity Pruning for Large Language Models
• Title（参考訳）: 大規模言語モデルのための高忠実プルーニング
• Authors: Yijun Zhu, Jianxin Wang, Chengchao Shen,
• Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクにわたって例外的なパフォーマンスを示してきたが、その重要な計算とメモリ要件は、デプロイメントにおいて大きな課題を呈している。 本稿では,ニューロンの重要度を効率的に評価するために,モデル出力分布の簡易かつ効果的な情報エントロピー法を提案する。
• 参考スコア（独自算出の注目度）: 10.13987648511885
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated exceptional performance across a wide range of tasks, yet their significant computational and memory requirements present major challenges for deployment. A common approach uses Taylor expansion on the loss function to estimate neuron importance. However, its reliance on one-hot cross entropy loss, a key limitation is that it narrowly assesses importance based only on the probability assigned to the single predicted next token, thereby ignoring the other potential predictions of the original model. An intuitive solution to address this is to employ self distillation criterion for importance evaluation. However, this approach introduces significant computational overhead by requiring a separate teacher model for supervision. To this end, we propose a simple but effective criterion, information entropy of the model's output distribution, to efficiently evaluate importance scores of neurons with Taylor pruning without requirement of additional teacher. Compared to plain cross entropy criterion, it provides a more holistic criterion for Taylor pruning to prune neurons with the least impact on the prediction of model in a global manner, thereby preserving the fidelity of the model's predictive capabilities. Experimental results on extensive zero-shot benchmarks demonstrate that our method consistently outperforms existing pruning methods across the LLaMA and Qwen series models. The source code and trained weights are availabel at https://github.com/visresearch/HFPrune.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクにわたって例外的なパフォーマンスを示してきたが、その重要な計算とメモリ要件は、デプロイメントにおいて大きな課題を呈している。 一般的なアプローチでは、損失関数に対するテイラー展開を用いてニューロンの重要性を推定する。 しかし、1ホットのクロスエントロピー損失に依存しているため、重要な制限は、1つの予測された次のトークンに割り当てられた確率のみに基づいて重要度を狭く評価し、元のモデルの他の潜在的な予測を無視していることである。 これを解決するための直感的な解決策は、重要度評価に自己蒸留基準を用いることである。 しかし,本手法では教師モデルを個別に指導することによって,計算オーバーヘッドが大幅に増大する。 そこで本研究では,テイラープルーニングによるニューロンの重要度評価を,教師の追加を必要とせずに効率的に行うため,モデル出力分布の簡易かつ効果的な情報エントロピーを提案する。 通常の交叉エントロピー基準と比較すると、テイラーがプルーンニューロンにプルーンのプルーニングを行う場合、大域的にモデルの予測にほとんど影響を与えず、それによってモデルの予測能力の忠実さが保たれるという、より全体論的基準を提供する。 提案手法はLLaMAおよびQwen級数モデルにおける既存のプルーニング法より一貫して優れていることを示す。 ソースコードとトレーニングされたウェイトはhttps://github.com/visresearch/HFPrune.comにある。

関連論文リスト

• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Modeling Choice via Self-Attention [8.394221523847325]
  注意に基づく選択モデルはHalo Multinomial Logit(Halo-MNL)モデルの低最適一般化であることを示す。 また、実データから選択を推定するための最初の現実的な尺度を確立し、既存のモデルの評価を行う。
  論文  参考訳（メタデータ） (2023-11-11T11:13:07Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Variational Inference with NoFAS: Normalizing Flow with Adaptive Surrogate for Computationally Expensive Models [7.217783736464403]
  マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。 変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。 本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
  論文  参考訳（メタデータ） (2021-08-28T14:31:45Z)
• On Statistical Efficiency in Learning [37.08000833961712]
  モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。 モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。 実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
  論文  参考訳（メタデータ） (2020-12-24T16:08:29Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。