論文の概要: IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs

• arxiv url: http://arxiv.org/abs/2610.00426v1
• Date: Wed, 30 Sep 2026 16:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.654721
• Title: IrekoGPT: Turning Structured Pruning into Post-Hoc Slimmable LLMs
• Title（参考訳）: IrekoGPT: 構造的プルーニングをポストホックスリム化可能なLCMに変換する
• Abstract要約: 本稿では,事前学習したLLMを,推定時間で幅を調整可能なスリム化可能なモデルに変換する手法であるIrekoGPTを紹介する。 予備結果はPCAをベースとしたスリム化よりも改善し,高い圧縮率で最大の向上を示した。
• 参考スコア（独自算出の注目度）: 20.686509803042494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce IrekoGPT, a post-hoc method for converting pretrained LLMs into slimmable models whose width can be adjusted at inference time. Building on SliceGPT, we retain its projection matrices without pruning them, allowing a single model to expose nested subnetworks at different widths. We improve robustness by calibrating each layer across multiple compression ratios, and correct downstream linear layers through gradient-free ridge regression. Across Llama and Qwen models, preliminary results show improvements over naive PCA-based slimming, with the largest gains at high compression. Code is available at https://github.com/aimagelab/IrekoGPT
• Abstract（参考訳）: 本稿では,事前学習したLLMを推定時間で幅を調整可能なスリム化モデルに変換するポストホック法IrekoGPTを紹介する。 SliceGPT 上に構築したプロジェクション行列は,刈り取らずに保持するので,ネストしたサブネットを異なる幅で露出させることができる。 我々は、複数の圧縮比で各層を校正し、勾配のない隆起レグレッションにより下流の線形層を補正することにより、ロバスト性を向上させる。 Llama モデルと Qwen モデル全体では,PCA ベースのスリム化よりも優れた結果が得られた。 コードはhttps://github.com/aimagelab/IrekoGPTで入手できる。

関連論文リスト

• PC Layer: Polynomial Weight Preconditioning for Improving LLM Pre-Training [9.211159024428083]
  そこで本研究では,プレコンディショニング(PC)層と,プリコンディショナーによる重みパラメータ化により,安定な重みトレーニングを実現することを提案する。 PCは、プレコンディショニングを通して低度の条件付けを通じて重量行列の特異値スペクトルを再評価する。 トレーニング後、ウェイトは元のアーキテクチャにマージされ、オーバーヘッドは発生しない。
  論文  参考訳（メタデータ） (2026-06-04T17:55:11Z)
• GRAIL: Post-hoc Compensation by Linear Reconstruction for Compressed Networks [9.487330689135595]
  GRAILはモデル圧縮後に適用される単純なゼロファインタニングステップである。 小さいキャリブレーションセットを使用して各ブロックの入出力動作を復元する。 データフリーでデータアウェアなプルーニングや折り畳みベースラインよりも正確さや難易度が一貫して向上する。
  論文  参考訳（メタデータ） (2026-02-27T08:37:55Z)
• GPAS: Accelerating Convergence of LLM Pretraining via Gradient-Preserving Activation Scaling [39.3376897081385]
  既存の手法と組み合わせて使用可能なGPAS(Gradient-Preserving Activation Scaling)を提案する。 GPASは、その勾配を一定に保ちながら中間活性化をスケールダウンすることで機能する。 モデルサイズが71Mから1Bの範囲で実験した結果,GPASが一貫した性能向上を達成できた。
  論文  参考訳（メタデータ） (2025-06-27T09:45:15Z)
• AlphaPruning: Using Heavy-Tailed Self Regularization Theory for Improved Layer-wise Pruning of Large Language Models [94.82766517752418]
  そこで我々は,AlphaPruningを提案する。このAlphaPruningは,より理論的に原理化された方法で,水平方向の空間比を割り振る。 以上よりAlphaPruning prunes LLaMA-7B to 80% sparsity while maintain well perplexity, marking a first in the literature on LLMs。
  論文  参考訳（メタデータ） (2024-10-14T03:35:11Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Beyond Size: How Gradients Shape Pruning Decisions in Large Language Models [30.246821533532017]
  数十億のパラメータを持つ大規模言語モデル(LLM)は、ネットワークプルーニングの主要なターゲットであり、性能を損なうことなくモデルの重みを取り除く。 グラディエントベース言語モデルプルーナー (GBLM-Pruner) と呼ばれる, プレトレーニング済みLLMに対する新しいスペーサ中心プルーニング法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T18:59:54Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Training with Multi-Layer Embeddings for Model Reduction [0.9046327456472286]
  複数層埋め込み学習アーキテクチャを導入し, 一連の線形層を通して埋め込みを訓練する。 その結果,メモリフットプリントの精度が向上し,dを4～8倍削減できることがわかった。
  論文  参考訳（メタデータ） (2020-06-10T02:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。