論文の概要: F-WANDA: Fisher-Reweighted Post-Training Pruning for Sustainable Deployment of Large Language Models
- arxiv url: http://arxiv.org/abs/2608.00481v1
- Date: Sat, 01 Aug 2026 07:13:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.699302
- Title: F-WANDA: Fisher-Reweighted Post-Training Pruning for Sustainable Deployment of Large Language Models
- Title（参考訳）: F-WANDA:大規模言語モデルの持続的展開のための漁獲後処理
- Abstract要約: 訓練後の1ショットのプルーニングは、大規模言語モデルにとって最もエネルギー効率の良い圧縮戦略である。
WANDAのドロップイン修正であるF-WANDAを導入する。
F-WANDAはWikiText-2の難易度6.85に達し、WANDAにマッチし、WANDAに+1.6pp、SPARSEGPTに+1.1ppで5ショットMMLUを改善する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One-shot post-training pruning is the most energy-frugal compression strategy for largelanguage models (LLMs), yet existing approaches trade either quality (WANDA) or compute cost (SPARSEGPT). We introduce F-WANDA, a drop-in modification of WANDA that reallocates the per-row keep budget across output neurons in proportion to the empirical Fisher information of the pre-activation. The Fisher signal is collected in a single additional backward pass over the same calibration corpus WANDA already uses; no weights are updated. On LLAMA-2-7B at 50 % unstructured sparsity, F-WANDA attains WikiText-2 perplexity of 6.85, matches WANDA fluency, and improves 5-shot MMLU by +1.6 pp over WANDA and +1.1 pp over SPARSEGPT, while incurring only one-third of SPARSEGPT pruning wall-clock and energy. The headline trade-off is achieved without extra calibration data or fine-tuning, placing F-WANDA on the Pareto frontier of quality versus pruning cost for sustainable LLM compression.
- Abstract（参考訳）: ワンショットのポストトレーニングプルーニングは、大規模言語モデル(LLM)の最もエネルギー効率の高い圧縮戦略であるが、既存のアプローチでは品質(WANDA)と計算コスト(SPARSEGPT)のどちらかを取引している。
我々は,WANDAのドロップイン修正であるF-WANDAを導入する。WANDAは,前活動の経験的フィッシャー情報に比例して,出力ニューロン間でローテンション当たりの予算を再配置する。
フィッシャー信号は、WANDAと同じキャリブレーションコーパス上で1つの後方パスで収集され、重量は更新されない。
LLAMA-2-7Bの50%非構造領域では、F-WANDAはWikiText-2の難易度6.85に達し、WADA流速と一致し、5ショットMMLUを+1.6pp、SPARSEGPTを+1.1ppで改善し、SPARSEGPTの3分の1しか壁時間とエネルギーを消費しない。
ヘッドライントレードオフは、余分なキャリブレーションデータや微調整なしで達成され、F-WANDAは持続的なLCM圧縮のためのプルーニングコストに対してパレートフロンティアに配置される。
関連論文リスト
- LILA: Calibration-Free Structured Pruning of Large Language Models via Latent Spectral Geometry [1.2109519547057517]
LILAは、フルおよびニューロン結合フィードフォワードネットワーク(FFN)重み行列の実験的特異値分布間のコルモゴロフ-スミルノフ(KS)距離を介して神経細胞の重要性を評価する。
微調整なしでは、LILAはLLaMA-2-7Bで1.57ppの精度でPruneNetを25%の精度で上回り、WikiText-2-d SliceGPTを最大6.0ppで上回っている。
論文 参考訳（メタデータ） (2026-09-10T07:09:09Z) - Efficient JPEG Restoration in the Wavelet Domain via Mean Flows [0.0]
我々は,LIVE-1,Urban100,DIV2K-valにおいて,QF10,20で最低のLPIPSが得られる65Mパラメータ生成復号器を提案する。
スクラッチからトレーニングされたこのモデルは、学習したVAEエンコーダデコーダを、完全に可逆な2レベルHaar変換に置き換える。
論文 参考訳（メタデータ） (2026-08-28T17:34:27Z) - YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition [78.52944812151664]
大きな言語モデル(LLM)は、大きな金融革新をもたらすが、そのデプロイメントはKVキャッシュメモリのオーバーヘッドによってボトルネックになる。
我々は,Huawei Ascendエコシステム上に構築された包括的な構造遷移とトレーニングパイプラインによって強化された,高効率な金融LLMであるYouZhi-LLMを提案する。
論文 参考訳（メタデータ） (2026-06-04T08:44:37Z) - Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning [7.2665116919613135]
本稿では,F-DPO (Factuality-aware Direct Preference Optimization) を紹介する。
DPOペアを2つのファクトアリティ指標と合成幻覚的変種で拡張することで、ファクトアウェアな嗜好データを構築する。
F-DPOは補助的な報酬モデルやトークンレベルのアノテーション、マルチステージトレーニングを必要としない。
論文 参考訳（メタデータ） (2026-01-06T14:01:34Z) - It's Not You, It's Clipping: A Soft Trust-Region via Probability Smoothing for LLM RL [1.9507810024568648]
PPOやGRPOのような強化学習(RL)手法を用いた大規模言語モデル(LLM)の訓練は、更新の安定化に比例する。
重要度を計算する前に、従来の(行動)政策に対する現在の政策の確率を円滑にするPSPOを提案する。
GR-PSPOはクリップされたGRPOと比較して0.5Bと1.5Bの両方のパフォーマンスを大幅に改善し、GSM8Kでは20%以上向上した。
論文 参考訳（メタデータ） (2025-09-25T15:03:18Z) - Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。
ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
論文 参考訳（メタデータ） (2025-07-09T14:29:45Z) - Pangu Light: Weight Re-Initialization for Pruning and Accelerating LLMs [79.7618807098457]
大きな言語モデル(LLM)は多くのタスクにまたがって最先端の機能を提供しますが、その巨大なサイズと推論コストは、実用的なデプロイメントに重大な計算上の課題をもたらします。
本稿は,このような積極的関節切断を実現させる上で重要な,しばしば見落とされがちな側面として,残った重量の戦略的再初期化と調整があげられることを論じる。
構造化プルーニングを中心としたLCM加速のためのフレームワークであるPangu Lightと、新しい重量再初期化技術を紹介する。
論文 参考訳（メタデータ） (2025-05-26T15:57:08Z) - Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs [92.7279890407059]
MLA(Multi-head Latent Attention)は、効率的かつ経済的推論を保証するために設計された革新的なアーキテクチャである。
本稿では,マルチヘッドアテンションからMLAへの移行のための,データ効率の良いファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2025-02-20T18:50:42Z) - Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。
本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。
我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
論文 参考訳（メタデータ） (2024-05-01T17:59:20Z) - Accurate Low-Degree Polynomial Approximation of Non-polynomial Operators for Fast Private Inference in Homomorphic Encryption [4.9701231764297]
ホモモルフィック暗号化(FHE)は、暗号化されたデータの推論を可能にし、データのプライバシと機械学習モデルの両方のプライバシを保存する。
非多項式作用素を高次多項式近似関数(PAF)に置き換える根本原因として、最大5等級の安全推論を遅くする。
我々は,非多項式演算子を低次PAFに置き換えた上で,PAF近似モデルの精度を4つの手法で再現するフレームワークであるSmartPAFを提案する。
論文 参考訳（メタデータ） (2024-04-04T05:45:52Z) - Efficient RLHF: Reducing the Memory Usage of PPO [61.45357428856269]
本稿では,PPOのためのメモリセーブ技術におけるメモリ使用量,性能,トレーニング時間を総合的に分析する。
まず、SFTモデルとRewardモデルを統合し、訓練中にLoRAを動的にオフにすることで、Hydra-RLHFを導入する。
以上の結果から,Hydra-PPOはRLHFをより広く活用するためのシンプルで有望なソリューションであることが示された。
論文 参考訳（メタデータ） (2023-09-01T22:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。