論文の概要: EGGS-PTP: An Expander-Graph Guided Structured Post-training Pruning Method for Large Language Models
- arxiv url: http://arxiv.org/abs/2508.09471v1
- Date: Wed, 13 Aug 2025 04:00:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-14 20:42:00.751395
- Title: EGGS-PTP: An Expander-Graph Guided Structured Post-training Pruning Method for Large Language Models
- Title（参考訳）: EGGS-PTP:大規模言語モデルのためのExpander-Graph Guided Structured Post-training Pruning法
- Authors: Omar Bazarbachi, Zijun Sun, Yanning Shen,
- Abstract要約: 本研究は,Expander-Graph Guided Structured Post-training Pruning法であるEGGS-PTPを紹介する。
提案手法はグラフ理論を利用してN:M構造化プルーニングの設計を導出する。
EGGS-PTPは、構造的間隔による大幅な加速とメモリ節約を実現する。
また、様々な大規模言語モデルにおいて、既存の構造化プルーニング技術よりも精度が高い。
- 参考スコア（独自算出の注目度）: 13.402231685030568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Large Language Models (LLMs) become more widely adopted and scale up in size, the computational and memory challenges involved in deploying these massive foundation models have grown increasingly severe. This underscores the urgent need to develop more efficient model variants. Faced with this challenge, the present work introduces EGGS-PTP: an Expander-Graph Guided Structured Post-training Pruning method. The proposed approach leverages graph theory to guide the design of N:M structured pruning, effectively reducing model size and computational demands. By incorporating concepts from expander graphs, EGGS-PTP ensures information flow within the pruned network, preserving essential model functionality. Extensive numerical experiments demonstrate that EGGS-PTP not only achieves significant acceleration and memory savings due to structured sparsity but also outperforms existing structured pruning techniques in terms of accuracy across various LLMs.
- Abstract（参考訳）: 大規模言語モデル(LLM)がより広く採用され、規模が拡大するにつれて、これらの膨大な基礎モデルの展開に関わる計算と記憶の課題はますます深刻化している。
これにより、より効率的なモデル変種を開発する緊急の必要性が浮き彫りになる。
この課題に直面した本研究では,Expander-Graph Guided Structured Post-training Pruning法であるEGGS-PTPを紹介する。
提案手法はグラフ理論を利用してN:M構造化プルーニングの設計を導出し,モデルサイズと計算要求を効果的に低減する。
拡張グラフの概念を取り入れることで、EGGS-PTPはプルーンドネットワーク内の情報フローを保証し、重要なモデル機能を保持する。
大規模数値実験により、EGGS-PTPは、構造的空間性による大きな加速とメモリ節約を達成するだけでなく、様々なLCMの精度で既存の構造的プルーニング技術より優れていることが示された。
関連論文リスト
- Cliqueformer: Model-Based Optimization with Structured Transformers [102.55764949282906]
大規模なニューラルネットワークは予測タスクに優れるが、タンパク質工学や材料発見といった設計問題への応用には、オフラインモデルベース最適化(MBO)の問題を解決する必要がある。
機能的グラフィカルモデル(FGM)を用いてブラックボックス関数の構造を学習するトランスフォーマーベースのアーキテクチャであるCliqueformerを提案する。
化学および遺伝子設計タスクを含む様々な領域において、Cliqueformerは既存の方法よりも優れた性能を示している。
論文 参考訳（メタデータ） (2024-10-17T00:35:47Z) - Parameter-Efficient Sparsity Crafting from Dense to Mixture-of-Experts for Instruction Tuning on General Tasks [5.536630285985836]
パラメータ効率のスペシャリティクラフト (PESC) を導入する。
PESCは、Mix-of-experts (MoE)アーキテクチャを使って、密集したモデルをスパースモデルに加工する。
我々の最良スパースモデルは他のスパースモデルよりも優れ、GP3.5に比べて優れた一般性を示す。
論文 参考訳（メタデータ） (2024-01-05T09:58:09Z) - PanGu-$\pi$: Enhancing Language Model Architectures via Nonlinearity
Compensation [97.78045712375047]
大規模言語モデル(LLM)のための新しい効率的なモデルアーキテクチャを提案する。
そこで,PanGu-$pi$-7Bは,約10%の推論速度を持つベンチマークに匹敵する性能が得られることを示す。
さらに,PanGu-$pi$-7Bを金融法と法律の高価値領域に導入し,実践的応用のためにYunShanというLLMを開発した。
論文 参考訳（メタデータ） (2023-12-27T11:49:24Z) - G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning
for Graph Transformer Networks [0.7118812771905295]
特徴分布シフトの問題から,既存のPEFTをグラフベースタスクへ直接転送することが準最適であることを示す。
本稿では,G-Adapter という新しい構造対応PEFT手法を提案する。
大規模な実験により、G-Adapterは9つのグラフベンチマークデータセットと比較すると、最先端のパフォーマンスが得られることが示された。
論文 参考訳（メタデータ） (2023-05-17T16:10:36Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - A Generic Approach for Enhancing GANs by Regularized Latent Optimization [79.00740660219256]
本稿では,事前学習したGANを効果的かつシームレスに拡張できる,エミュレーティブモデル推論と呼ばれる汎用フレームワークを提案する。
我々の基本的な考え方は、ワッサーシュタイン勾配流法を用いて与えられた要求に対する最適潜時分布を効率的に推算することである。
論文 参考訳（メタデータ） (2021-12-07T05:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。