論文の概要: LILA: Calibration-Free Structured Pruning of Large Language Models via Latent Spectral Geometry

• arxiv url: http://arxiv.org/abs/2609.11163v1
• Date: Thu, 10 Sep 2026 07:09:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.239925
• Title: LILA: Calibration-Free Structured Pruning of Large Language Models via Latent Spectral Geometry
• Title（参考訳）: LILA:潜在スペクトル幾何学による大言語モデルの校正自由構造解析
• Abstract要約: LILAは、フルおよびニューロン結合フィードフォワードネットワーク(FFN)重み行列の実験的特異値分布間のコルモゴロフ-スミルノフ(KS)距離を介して神経細胞の重要性を評価する。 微調整なしでは、LILAはLLaMA-2-7Bで1.57ppの精度でPruneNetを25%の精度で上回り、WikiText-2-d SliceGPTを最大6.0ppで上回っている。
• 参考スコア（独自算出の注目度）: 1.2109519547057517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured pruning of large language models (LLMs) offers hardware-efficient compression, yet existing methods require calibration data, gradient computation, or large auxiliary policy networks at pruning time. LILA (\emph{Latent-Informed Layer Analysis}) scores neuron importance via the Kolmogorov--Smirnov (KS) distance between empirical singular value distributions of the full and neuron-ablated feed-forward network (FFN) weight matrix, providing a closed-form spectral rule requiring no training, calibration data, or auxiliary network. Without any fine-tuning, LILA surpasses PruneNet (45M-parameter RL policy) by 1.57~pp in zero-shot accuracy on LLaMA-2-7B at 25\% sparsity, and outperforms WikiText-2-calibrated SliceGPT by up to 6.0~pp across all sparsity levels, while preserving the original architecture. After one epoch of LoRA recovery fine-tuning, LILA achieves highly competitive performance, matching the heavily calibrated SliceGPT baseline to within a 0.48~pp margin across LLaMA-2-7B and Phi-2, despite using zero calibration data. A Neural Tangent Kernel analysis confirms a 22$\times$ reduction in functional distortion versus random pruning, providing theoretical grounding for the spectral importance criterion. Finally, extending LILA to dynamically allocate sparsity budgets via KS-scores yields state-of-the-art generative preservation at moderate compression, while uncovering fundamental single-layer architectural bottlenecks at higher compression regimes.
• Abstract（参考訳）: 大規模言語モデル(LLM)の構造的プルーニングはハードウェア効率のよい圧縮を提供するが、既存の手法ではキャリブレーションデータ、勾配計算、あるいはプルーニング時の大規模補助的ポリシーネットワークを必要とする。 LILA (\emph{Latent-Informed Layer Analysis}) は、フルおよびニューロンのフィードフォワードネットワーク(FFN)重み行列の実験的特異値分布間のKS距離を通じてニューロンの重要性を評価し、訓練、校正データ、補助ネットワークを必要としない閉じたスペクトルルールを提供する。 微調整なしでは、LILA は LLaMA-2-7B で PruneNet (45Mパラメータ RL ポリシー) を1.57〜pp で上回り、元のアーキテクチャを保ちながら WikiText-2 でキャリブレーションされた SliceGPT を最大 6.0〜pp で上回っている。 LILAは、LLaMA-2-7B と Phi-2 にまたがる0.48〜ppの範囲で、キャリブレーションデータがゼロであるにもかかわらず、高いキャリブレーションを施したSliceGPTベースラインに匹敵する高い競争性能を達成した。 ニューラル・タンジェント・カーネル分析は、機能的歪みとランダムプルーニングの減少を22$\times$で確認し、スペクトル重要性基準の理論的根拠を与える。 最後に、LILAをKSスコアを介して動的に分散予算を割り当てるように拡張することで、高い圧縮条件下での基本的な単一層アーキテクチャのボトルネックを明らかにしながら、最先端の生成保存を適度な圧縮で得ることができる。

関連論文リスト

• ISO: An RLVR-Native Optimization Stack [50.40395312897848]
  アイソスペクトル最適化(ISO)としてスペクトル継承を運用する オフラインでは、ISO-Mergerは共有ベーススペシャリストのフレーム変更を単一の固定スペクトルモデルに統合する。 オンラインのISO-Mergerは、AdamWやMuonを含む選択されたベースをフレーム変数に適用し、ベーススペクトルを固定する。
  論文  参考訳（メタデータ） (2026-07-21T17:51:36Z)
• TriSP: Tri-Signal Structured Pruning for Large Language Models [0.0]
  大規模言語モデル(LLM)は多様なタスクにわたって高いパフォーマンスを達成するが、そのデプロイメントはメモリと計算コストによって制約される。 構造化プルーニング(Structured pruning)は、アテンションヘッドやマルチ層パーセプトロン(Multi-Layer Perceptron、MLP)ニューロンなどの構造全体を除去して、標準ハードウェア上で効率的に動作するより小さな密度のモデルを生成することで、この問題に対処する。 本稿では,Tri-Signal Structured Pruning(Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning)を提案する。
  論文  参考訳（メタデータ） (2026-06-09T17:02:14Z)
• Recover-LoRA for Aggressive Quantization: Reclaiming Accuracy in 2-Bit Language Models via Low-Rank Adaptation with Knowledge Distillation on Synthetic Data [3.056033670271077]
  Recover-LoRAはデータフリーの精度回復法で、もともとは一般モデルの重み劣化のために開発された。 Recover-LoRAはゲートとアップ層の2ビット量子化から失われる精度を回復できることを示す。 この結果から,Recover-LoRAは,運用環境におけるアグレッシブ・ウェイト・圧縮のための実用的ポスト量子化精度回復ツールであることがわかった。
  論文  参考訳（メタデータ） (2026-06-02T21:37:56Z)
• Convex Optimization for Alignment and Preference Learning on a Single GPU [52.997197698288936]
  人間の好みに合わせて微調整された大きな言語モデルは、GeminiやChatGPTといったシステムの成功を導いた。 DPO(Direct Preference Optimization)は、よりシンプルな代替手段を提供するが、一貫性のないランキング精度やGPUリソースへの高い依存といった制限がある。 本稿では,理論的保証の強い新しい軽量戦略であるConvex Optimization for Alignment and Preference Learning Algorithm (COALA)を提案する。
  論文  参考訳（メタデータ） (2026-05-22T05:25:00Z)
• Machine Learning Models to Identify Promising Nested Antiresonance Nodeless Fiber Designs [0.0]
  高速なネスト型反共振ノードレスファイバ(NANF)の同定を目的とした機械学習フレームワークを提案する。 小型データセットは, 安定かつ高精度な性能予測に十分であり, 設計空間を最大14e6$のケースで探索できることを示す。
  論文  参考訳（メタデータ） (2026-03-02T14:13:59Z)
• Spectral Gating Networks [65.9496901693099]
  我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。 SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。 計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
  論文  参考訳（メタデータ） (2026-02-07T20:00:49Z)
• HQP: Sensitivity-Aware Hybrid Quantization and Pruning for Ultra-Low-Latency Edge AI Inference [0.0]
  相乗的モデル加速を実現するために設計されたHybrid Quantization and Pruning (HQP)フレームワーク。 HQPフレームワークは3.12倍の推論速度向上と55%のモデルサイズ縮小を実現している。
  論文  参考訳（メタデータ） (2026-02-02T18:17:45Z)
• Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models [53.339700196282905]
  大きな言語モデル(dLLM)に強化学習を適用する上で重要な課題は、その可能性関数の抽出性である。 本稿では,ELBOに基づく目的の特別に構築された下界を最大化するメモリ効率のRLアルゴリズムを提案する。 実験によると、BGPOは数学の問題解決、コード生成、計画タスクにおいて、dLLMの以前のRLアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-10-13T17:47:50Z)
• NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
  直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。 構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。 Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-17T17:59:00Z)
• ESSA: Evolutionary Strategies for Scalable Alignment [8.418036456622158]
  我々は,前向き推論とブラックボックス最適化のみを用いて,Large Language Models (LLM) を整列する勾配のないフレームワークであるESSAを提案する。 ESSAはQwen2.5-Math-7Bのテスト精度をGSM8Kで12.6%、PRM800Kで14.8%改善し、IFEvalでLLaMA3.1-8Bの精度を22.5%向上させた。 大規模な設定では、ESSAは勾配ベースの方法よりもスケーリングが強い。
  論文  参考訳（メタデータ） (2025-07-06T16:23:07Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。