論文の概要: EGGS-PTP: An Expander-Graph Guided Structured Post-training Pruning Method for Large Language Models
- arxiv url: http://arxiv.org/abs/2508.09471v1
- Date: Wed, 13 Aug 2025 04:00:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-14 20:42:00.751395
- Title: EGGS-PTP: An Expander-Graph Guided Structured Post-training Pruning Method for Large Language Models
- Title（参考訳）: EGGS-PTP:大規模言語モデルのためのExpander-Graph Guided Structured Post-training Pruning法
- Authors: Omar Bazarbachi, Zijun Sun, Yanning Shen,
- Abstract要約: 本研究は,Expander-Graph Guided Structured Post-training Pruning法であるEGGS-PTPを紹介する。
提案手法はグラフ理論を利用してN:M構造化プルーニングの設計を導出する。
EGGS-PTPは、構造的間隔による大幅な加速とメモリ節約を実現する。
また、様々な大規模言語モデルにおいて、既存の構造化プルーニング技術よりも精度が高い。
- 参考スコア（独自算出の注目度）: 13.402231685030568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Large Language Models (LLMs) become more widely adopted and scale up in size, the computational and memory challenges involved in deploying these massive foundation models have grown increasingly severe. This underscores the urgent need to develop more efficient model variants. Faced with this challenge, the present work introduces EGGS-PTP: an Expander-Graph Guided Structured Post-training Pruning method. The proposed approach leverages graph theory to guide the design of N:M structured pruning, effectively reducing model size and computational demands. By incorporating concepts from expander graphs, EGGS-PTP ensures information flow within the pruned network, preserving essential model functionality. Extensive numerical experiments demonstrate that EGGS-PTP not only achieves significant acceleration and memory savings due to structured sparsity but also outperforms existing structured pruning techniques in terms of accuracy across various LLMs.
- Abstract（参考訳）: 大規模言語モデル(LLM)がより広く採用され、規模が拡大するにつれて、これらの膨大な基礎モデルの展開に関わる計算と記憶の課題はますます深刻化している。
これにより、より効率的なモデル変種を開発する緊急の必要性が浮き彫りになる。
この課題に直面した本研究では,Expander-Graph Guided Structured Post-training Pruning法であるEGGS-PTPを紹介する。
提案手法はグラフ理論を利用してN:M構造化プルーニングの設計を導出し,モデルサイズと計算要求を効果的に低減する。
拡張グラフの概念を取り入れることで、EGGS-PTPはプルーンドネットワーク内の情報フローを保証し、重要なモデル機能を保持する。
大規模数値実験により、EGGS-PTPは、構造的空間性による大きな加速とメモリ節約を達成するだけでなく、様々なLCMの精度で既存の構造的プルーニング技術より優れていることが示された。
関連論文リスト
- Theoretical Foundations of Scaling Law in Familial Models [46.506708373314375]
モデルサイズ(N)とトレーニングトークン(D)とともに、基本的なスケーリング変数としてグラニュラリティ(G)を導入します。
この結果から, 極小指数の乗法則に準じる粒度ペナルティが明らかとなった。
のパラダイムを検証することで、デプロイメントの柔軟性が達成可能であることを実証しています。
論文 参考訳（メタデータ） (2025-12-29T12:01:58Z) - SBGD: Improving Graph Diffusion Generative Model via Stochastic Block Diffusion [2.3043270848984]
グラフ拡散生成モデル(GDGM)は、高品質なグラフを生成する強力なツールとして登場した。
GDGMは、高いメモリ要求のため、大きなグラフにスケールするのに苦労している。
本稿では,グラフ表現をブロックグラフ空間に洗練するブロックグラフ拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-08-20T01:47:46Z) - Scalable Graph Generative Modeling via Substructure Sequences [50.32639806800683]
本稿では,グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$2$PM)を紹介する。
G$2$PMはグラフインスタンス(ノード、エッジ、グラフ全体)をサブ構造のシーケンスとして表現する。
それは、一般化可能かつ伝達可能な表現を学ぶために、シーケンスに関する生成的事前学習を採用する。
論文 参考訳（メタデータ） (2025-05-22T02:16:34Z) - QPruner: Probabilistic Decision Quantization for Structured Pruning in Large Language Models [3.093903491123962]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。
構造化プルーニングはモデルサイズの削減に有効な手法であるが、しばしば精度を著しく低下させる。
我々は、微調整と推論の両方でメモリ消費を減らすために、構造化プルーニングフレームワークに量子化を導入する。
モデルサイズの削減に構造化プルーニングを用いた新しいフレームワークQPrunerを提案する。
論文 参考訳（メタデータ） (2024-12-16T10:14:01Z) - Cliqueformer: Model-Based Optimization with Structured Transformers [102.55764949282906]
大規模なニューラルネットワークは予測タスクに優れるが、タンパク質工学や材料発見といった設計問題への応用には、オフラインモデルベース最適化(MBO)の問題を解決する必要がある。
機能的グラフィカルモデル(FGM)を用いてブラックボックス関数の構造を学習するトランスフォーマーベースのアーキテクチャであるCliqueformerを提案する。
化学および遺伝子設計タスクを含む様々な領域において、Cliqueformerは既存の方法よりも優れた性能を示している。
論文 参考訳（メタデータ） (2024-10-17T00:35:47Z) - Parameter-Efficient Sparsity Crafting from Dense to Mixture-of-Experts for Instruction Tuning on General Tasks [5.536630285985836]
パラメータ効率のスペシャリティクラフト (PESC) を導入する。
PESCは、Mix-of-experts (MoE)アーキテクチャを使って、密集したモデルをスパースモデルに加工する。
我々の最良スパースモデルは他のスパースモデルよりも優れ、GP3.5に比べて優れた一般性を示す。
論文 参考訳（メタデータ） (2024-01-05T09:58:09Z) - PanGu-$\pi$: Enhancing Language Model Architectures via Nonlinearity
Compensation [97.78045712375047]
大規模言語モデル(LLM)のための新しい効率的なモデルアーキテクチャを提案する。
そこで,PanGu-$pi$-7Bは,約10%の推論速度を持つベンチマークに匹敵する性能が得られることを示す。
さらに,PanGu-$pi$-7Bを金融法と法律の高価値領域に導入し,実践的応用のためにYunShanというLLMを開発した。
論文 参考訳（メタデータ） (2023-12-27T11:49:24Z) - G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning
for Graph Transformer Networks [0.7118812771905295]
特徴分布シフトの問題から,既存のPEFTをグラフベースタスクへ直接転送することが準最適であることを示す。
本稿では,G-Adapter という新しい構造対応PEFT手法を提案する。
大規模な実験により、G-Adapterは9つのグラフベンチマークデータセットと比較すると、最先端のパフォーマンスが得られることが示された。
論文 参考訳（メタデータ） (2023-05-17T16:10:36Z) - GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous
Structured Pruning for Vision Transformer [76.2625311630021]
視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。
この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。
グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
論文 参考訳（メタデータ） (2023-01-13T00:40:24Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - A Generic Approach for Enhancing GANs by Regularized Latent Optimization [79.00740660219256]
本稿では,事前学習したGANを効果的かつシームレスに拡張できる,エミュレーティブモデル推論と呼ばれる汎用フレームワークを提案する。
我々の基本的な考え方は、ワッサーシュタイン勾配流法を用いて与えられた要求に対する最適潜時分布を効率的に推算することである。
論文 参考訳（メタデータ） (2021-12-07T05:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。