論文の概要: Unifying Depth and Width Pruning for LLMs via Binary Knapsack Optimization

• arxiv url: http://arxiv.org/abs/2608.12953v1
• Date: Thu, 13 Aug 2026 08:32:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.44138
• Title: Unifying Depth and Width Pruning for LLMs via Binary Knapsack Optimization
• Title（参考訳）: バイナリKnapsack最適化によるLLMの深さと幅の統一化
• Abstract要約: 構造化プルーニングは大規模言語モデル(LLM)の圧縮に有望なアプローチである 粗粒度成分に対するクナプサック最適化を解くための2段階構造化プルーニングフレームワークであるSNIPERを提案する。 SNIPERの6つの最先端プルーナーに対する平均性能維持とタスクレベルの安定性における一貫した改善を実証する。
• 参考スコア（独自算出の注目度）: 22.700846957818687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured pruning is a promising approach for compressing large language models (LLMs), yet existing methods rely heavily on greedy heuristics that produce myopic decisions, and often fail to precisely meet target compression budgets. We present SNIPER, a two-stage structured pruning framework that solves a knapsack optimization over coarse-granularity components to yield conditionally optimal parameter allocations with respect to fixed importance estimates, followed by a fine-grained pruning stage to meet strict budget constraints. We introduce the Compression Ratio Adherence Factor (CRAFT) to quantify budget fidelity, showing that while existing pruners deviate from target compression ratios by up to 33%, SNIPER achieves near-exact adherence with a CRAFT score of 0.98. Evaluations across four diverse architectures over a set of 18 tasks spanning five domains demonstrate SNIPER's consistent improvements in average performance retention and task-level stability over six state-of-the-art pruners. Across all pruning configurations, SNIPER achieves an excellent mean rank of 1.25, indicating its robust cross-architectural generalizability and excellent reliability.
• Abstract（参考訳）: 構造化プルーニング(Structured pruning)は、大きな言語モデル(LLM)を圧縮するための有望なアプローチである。 SNIPERは、粗粒度成分に対するknapsack最適化を解く2段階の構造化プルーニングフレームワークであり、固定された重要度の推定値に対して条件的に最適なパラメータ割り当てを出力し、厳密な予算制約を満たすためのきめ細かなプルーニングステージを提供する。 CRAFT(Compression Ratio Adherence Factor)を導入し、既存のプルーナーが目標圧縮比から最大33%ずれているのに対し、SNIPERはCRAFTスコア0.98でほぼ正確に適合していることを示す。 5つのドメインにまたがる18のタスクからなる4つの異なるアーキテクチャに対する評価は、SNIPERが6つの最先端プルーナーに対して平均的なパフォーマンス維持とタスクレベルの安定性を一貫して改善したことを示している。 全てのプルーニング構成において、SNIPERは1.25の優れた平均ランクを達成し、その堅牢なクロスアーキテクチャの一般化性と信頼性を示している。

関連論文リスト

• Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization [60.89431018071735]
  グループ相対的な優位性を持つ強化学習は、訓練後の言語モデル推論のデファクトスタンダードとなっている。 異なる報酬プロファイルを持つロールアウトは、同じ利点を享受でき、現在の飽和度に関わらず、全ての目的が固定相対重みで最適化されることを示す。 本研究では,各報酬目標を独立に標準化し,目標飽和度をバッチレベルで推定した値に従って貢献を適応的に割引する飽和度認識再重み付けを導入する。
  論文  参考訳（メタデータ） (2026-08-17T04:07:50Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data [77.19117648492104]
  We present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost。 FedRCOは、効率的な近似曲率と証明可能な安定性メカニズムを統合することで、これらの課題に対処する。 我々は,FedRCOが,最先端の1次法と2次法のどちらよりも高い精度と高速な収束を実現しつつ,多種多様な非IIDシナリオに対して優れたロバスト性を実現することを示す。
  論文  参考訳（メタデータ） (2026-03-30T11:37:46Z)
• The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models [33.10473765967503]
  一般化保存法はID/OOD性能を維持するが、敵攻撃に弱いモデルを残す。 我々の重要な洞察は、ロバスト性トレードオフは、パラメータ空間における鋭く異方性のある最小値と、摂動下で変形する不安定な特徴表現の2つの幾何学的失敗に由来するということである。 本稿では,パラメータ空間の曲率と特徴空間の不変性を協調的に正規化する,統一的な微調整フレームワークGRACEを提案する。
  論文  参考訳（メタデータ） (2026-03-28T05:22:00Z)
• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• HQP: Sensitivity-Aware Hybrid Quantization and Pruning for Ultra-Low-Latency Edge AI Inference [0.0]
  相乗的モデル加速を実現するために設計されたHybrid Quantization and Pruning (HQP)フレームワーク。 HQPフレームワークは3.12倍の推論速度向上と55%のモデルサイズ縮小を実現している。
  論文  参考訳（メタデータ） (2026-02-02T18:17:45Z)
• ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization [99.96330641363396]
  ARMOR: (Adaptive Representation with Matrix-factorization) は、新しい1ショットのポストトレーニングプルーニングアルゴリズムである。 ARMORは重量を直接刈る代わりに、各重量行列を2:4のスパースコアに分解する。 ARMORは、幅広いダウンストリームタスクとパープレキシティ評価において、最先端の2:4プルーニング手法よりも一貫して、はるかに優れています。
  論文  参考訳（メタデータ） (2025-10-07T02:39:20Z)
• Týr-the-Pruner: Structural Pruning LLMs via Global Sparsity Distribution Optimization [16.627496870394456]
  T'yr-the-Prunerは、効率的なエンドツーエンド検索ベースのグローバルな構造解析フレームワークである。 実効的な局所刈り取りと,スーパーネット構築を改善するための予測誤差蓄積手法を導入する。 以上の結果から,T'yr-the-Prunerは高密度モデルの性能の97%を保ちながら,最先端構造解析を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-03-12T11:52:49Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)
• Certifiable Outlier-Robust Geometric Perception: Exact Semidefinite Relaxations and Scalable Global Optimization [29.738513596063946]
  本稿では,外接点の存在下でのロバストな幾何学的知覚のためのアルゴリズム設計のための,最初の汎用フレームワークを提案する。 我々の実験では、SDP緩和はアプリケーション間で最大で外れ率で正確であることを実証した。
  論文  参考訳（メタデータ） (2021-09-07T21:42:16Z)
• On the Structures of Representation for the Robustness of Semantic Segmentation to Input Corruption [16.897599251748982]
  Implicit background Estimation (IBE) は、セマンティックセグメンテーションモデルに対するアウト・オブ・ディストリビューション・インプットに対するロバスト性を改善するための有望な手法であることを示した。 本稿では、Softmax, IBE, Sigmoid を用いた最適化目標から得られた構造を比較分析する。 IBE 40.3 および Softmax Baseline 37.5 と比較して,SCrIBE は全ての汚損量および重大度レベルを 42.1 の mIOU で集計し,優れたセグメンテーション性能を示すことを示した。
  論文  参考訳（メタデータ） (2020-09-02T04:49:27Z)
• Adopting Robustness and Optimality in Fitting and Learning [4.511425319032815]
  我々は、ロバスト最適化(RO)指数 $lambda$ を $-infty 桁にプッシュすることで、改良された指数化推定器を一般化する。 このロバスト性はRONISTによって適応的に実現され制御される。
  論文  参考訳（メタデータ） (2015-10-13T19:14:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。