論文の概要: Correlation-Aware Structured Pruning for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.22131v1
• Date: Sun, 23 Aug 2026 17:14:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.725877
• Title: Correlation-Aware Structured Pruning for Large Language Models
• Title（参考訳）: 大規模言語モデルのための相関型構造化プルーニング
• Abstract要約: 構造化プルーニングは、大規模言語モデルの推論コストを大幅に削減するための有望なアプローチである。 相関型構造化プルーニング法を提案する。 相関情報を組み込むことで、代表的構造化プルーニングベースラインと比較して、競合精度と効率のトレードオフが得られることを示す。
• 参考スコア（独自算出の注目度）: 27.64031979894254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured pruning is a promising approach for reducing the substantial inference costs of Large Language Models (LLMs) while maintaining hardware efficiency. Many existing methods assess the importance of prunable units (e.g., channels or heads) in isolation, implicitly assuming that pruning errors are additive. This independence assumption is often invalidated by the non-orthogonality of model weights and strong correlations between unit activations, potentially leading to performance degradation. To address this, we propose a Correlation-Aware Structured Pruning method. We formulate the pruning objective as a cardinality-constrained binary quadratic program that explicitly models cross-unit dependencies in the reconstruction error. Since this binary quadratic program is NP-hard and difficult to solve exactly, we develop a greedy interaction algorithm based on dependency-aware marginal costs to optimize unit selection. Furthermore, we incorporate a gradient-based strategy to achieve adaptive layer-wise sparsity allocation across the entire model. Extensive experiments on mainstream LLMs demonstrate that incorporating correlation information yields competitive accuracy-efficiency trade-offs compared to representative structured pruning baselines.
• Abstract（参考訳）: 構造化プルーニングは、ハードウェア効率を保ちながら、Large Language Models (LLMs) の相当な推論コストを削減するための有望なアプローチである。 既存の多くの手法は、プルーニングエラーが加法的であると暗黙的に仮定して、孤立してプルーニング可能なユニット(例えばチャンネルやヘッド)の重要性を評価する。 この独立性の仮定は、しばしばモデルの重みの非直交性や単位活性化の間の強い相関によって無効化され、性能劣化につながる可能性がある。 そこで本研究では,相関認識型構造化プルーニング手法を提案する。 本稿では,再設計エラーにおけるユニット間の依存関係を明示的にモデル化する,基数制約付き2進法プログラムとしてプルーニング目標を定式化する。 この二項二次プログラムはNPハードであり、正確には解くのが難しいため、単体選択を最適化するための依存性対応の限界コストに基づくグリーディ相互作用アルゴリズムを開発する。 さらに、モデル全体にわたって適応的な層幅割り当てを実現するための勾配に基づく戦略を組み込んだ。 主流LLMの大規模実験は, 相関情報を組み込むことで, 代表的構造化プルーニングベースラインと比較して, 競合精度と効率のトレードオフが得られることを示した。

関連論文リスト

• CaLR: Causal Latent Revision for Robust Diffusion Reasoning [51.455584007179226]
  Causal Latent Revision(CaLR)は、推論を制約付き潜在最適化として再構成するフレームワークである。 CaLRは複雑なベンチマークでSOTA DLMのパフォーマンスを達成し、強力なARベースラインを超え、Sudokuのような制約のあるタスクにおいて優れた堅牢性を示す。
  論文  参考訳（メタデータ） (2026-09-17T18:34:02Z)
• GRIP: Granular Reward-Guided Parameter Interpolation for Efficient Reasoning [8.030422191785364]
  推論指向の大規模言語モデルは、長いチェーンの思考を生成することで、強力な問題解決性能を達成することが多い。 対照的に、命令調整されたモデルはより簡潔に答える傾向があるが、しばしば同等の推論能力に欠ける。 この精度と効率のミスマッチは、完全なモデルの再訓練なしに両方のモデルの強度を組み合わせる軽量なアプローチを動機付けている。
  論文  参考訳（メタデータ） (2026-08-26T09:51:41Z)
• UniRank: Unified Rank Allocation for Low-Rank LLM Compression [9.742379971053806]
  グローバルな低ランク割当をソート・アンド・トランケーションパイプラインとして定式化する。 高い入力出力コサイン類似度と低い有効ランクとの強い相関性を検証する。 本稿では,分解重みに対して直接LoRAチューニングを行うランク保存ファインチューニングを提案する。
  論文  参考訳（メタデータ） (2026-06-20T03:10:33Z)
• FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
  FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。 トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。 この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T06:58:15Z)
• Breaking the Factorization Barrier in Diffusion Language Models [59.946071582340146]
  ベクトル化障壁」は拡散言語モデルの効率的な並列生成を妨げる。 完全分解出力分布を置き換えるための結合離散拡散法を提案する。 我々は, CoDD が多種多様な言語モデルアーキテクチャをシームレスに拡張し, オーバーヘッドを無視できることを示した。
  論文  参考訳（メタデータ） (2026-02-09T08:36:39Z)
• Structure-Aware Robust Counterfactual Explanations via Conditional Gaussian Network Classifiers [0.26999000177990923]
  本研究は,条件付き条件グラフに基づく構造認識型ロバストネス・ウンタファクト探索手法を提案する。 結果から,本手法は,特に安定な依存関係を提供する元の定式化を直接最適化することにより,強い整合性を実現することが示された。 提案手法は,非循環的制約下での非実効的推論における今後の進歩の基盤となる。
  論文  参考訳（メタデータ） (2026-02-08T15:51:45Z)
• Bridging Training and Merging Through Momentum-Aware Optimization [8.035521056416242]
  大規模ニューラルネットワークとタスク固有の計算モデルのトレーニングには、パラメータの重要度推定が必要である。 トレーニング中に現在の計算曲率情報を処理し、それを破棄し、類似した情報をマージするために再計算する。 トレーニング中に運動量と曲率の統計を分解し、類似した情報をマージするために再計算する統合フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-12-18T22:37:33Z)
• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• Stochastic Interpolants via Conditional Dependent Coupling [36.84747986070112]
  既存の画像生成モデルは、計算と忠実性のトレードオフに関して重要な課題に直面している。 提案した条件依存結合戦略に基づく統合型多段階生成フレームワークを提案する。 生成過程を複数の段階で補間軌道に分解し、エンドツーエンドの最適化を可能にしながら正確な分布学習を保証する。
  論文  参考訳（メタデータ） (2025-09-27T05:03:08Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。