論文の概要: LLM-Rank: A Graph Theoretical Approach to Pruning Large Language Models

• arxiv url: http://arxiv.org/abs/2410.13299v2
• Date: Fri, 29 Nov 2024 11:21:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:17:24.422182
• Title: LLM-Rank: A Graph Theoretical Approach to Pruning Large Language Models
• Title（参考訳）: LLM-Rank:大規模言語モデルに対するグラフ理論的アプローチ
• Authors: David Hoffmann, Kailash Budhathoki, Matthaeus Kleindessner,
• Abstract要約: 本稿では,グラフ理論からの集中度測定を利用した新しいプルーニング手法を提案し,これらのモデルの計算要求とメモリフットプリントの両方を削減した。 さらに,デコーダのみのトランスモデルを拡張してLLMRankと呼ぶ。
• 参考スコア（独自算出の注目度）: 1.3108652488669736
• License:
• Abstract: The evolving capabilities of large language models are accompanied by growing sizes and deployment costs, necessitating effective inference optimisation techniques. We propose a novel pruning method utilising centrality measures from graph theory, reducing both the computational requirements and the memory footprint of these models. Specifically, we devise a method for creating a weighted directed acyclical graph representation of multilayer perceptrons to which we apply a modified version of the weighted PageRank centrality measure to compute node importance scores. In combination with uniform pruning this leads to structured sparsity. We call this pruning method MLPRank. Furthermore we introduce an extension to decoder-only transformer models and call it LLMRank. For both variants we demonstrate a strong performance. With MLPRank on average leading to 6.09 % higher accuracy retention than three popular baselines and 13.42 % with LLMRank compared to two popular baselines. Code is available at https://github.com/amazon-science/llm-rank-pruning.
• Abstract（参考訳）: 大きな言語モデルの進化する能力には、サイズとデプロイメントコストの増大が伴い、効果的な推論最適化技術が必要である。 本稿では,グラフ理論からの集中度測定を利用した新しいプルーニング手法を提案し,これらのモデルの計算要求とメモリフットプリントの両方を削減した。 具体的には,重み付けされたPageRank集中度尺度の修正版を適用した多層パーセプトロンの重み付けされた非巡回グラフ表現を作成し,ノードの重要度を求める。 均一な刈り込みと組み合わせると、これは構造化された空間性につながる。 このプルーニング手法をMLPRankと呼ぶ。 さらに,デコーダのみのトランスモデルを拡張してLLMRankと呼ぶ。 どちらの変種に対しても、強いパフォーマンスを示します。 MLPRankが平均6.09%の精度保持率、LLMRankが13.42%となる。 コードはhttps://github.com/amazon-science/llm-rank-pruning.comで入手できる。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• OPTISHEAR: Towards Efficient and Adaptive Pruning of Large Language Models via Evolutionary Optimization [18.57876883968734]
  適応型LLMプルーニングのための効率的な進化的最適化フレームワークである textbftextscOptiShear を紹介する。 我々のフレームワークは,メタプルーニングメトリック上に構築された効率的な検索空間と,迅速な評価のためのモデルワイド再構成誤差の2つの重要なイノベーションを特徴としている。
  論文  参考訳（メタデータ） (2025-02-15T09:17:38Z)
• Instruction-Following Pruning for Large Language Models [58.329978053711024]
  我々は、モデルに対する固定的なプルーニングマスクを決定する従来の静的プルーニングアプローチを超えて移動する。 本手法では,プルーニングマスクは入力依存型であり,ユーザ命令に記述された情報に基づいて動的に適応する。 我々の手法は「命令追従プルーニング」と呼ばれ、ユーザ命令を入力とし、与えられたタスクに対して最も関連性の高いモデルパラメータを動的に選択するスパースマスク予測器を導入している。
  論文  参考訳（メタデータ） (2025-01-03T20:19:14Z)
• Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training [3.195234044113248]
  ネットワークプルーニングのためのemphtop-upアルゴリズムであるtextscNeuroALを提案する。 これは、高密度モデルとスパースバージョンの両方から情報を利用するブロックワイドと行ワイドのスパース性を変更する。 パフォーマンスと実行時のトレードオフの観点から、最新の最先端の手法を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-11T15:30:16Z)
• ELMGS: Enhancing memory and computation scaLability through coMpression for 3D Gaussian Splatting [16.373800112150573]
  3Dモデルは最近、Neural Radiance Fieldsと3D Gaussian Splatting Modelによって提供されるエンドツーエンドトレーニングの可能性によって普及した。 本稿では,そのようなモデルのメモリと計算のスケーラビリティを両立させる手法を提案する。 一般的なベンチマークでは,提案手法の有効性を実証し,資源制約のあるデバイス上でも,そのようなソリューションの広範な展開可能性への道を開く。
  論文  参考訳（メタデータ） (2024-10-30T17:01:28Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• CLAQ: Pushing the Limits of Low-Bit Post-Training Quantization for LLMs [44.03692512352445]
  カラムレベル適応量量子化(CLAQ)は、LLM(Large Language Models)量子化のための新しく効果的なフレームワークである。 本稿では,LLM量子化のための3種類の適応戦略を導入することで,新しい効果的なCLAQフレームワークを提案する。 LLaMA-1, LLaMA-2, Yi など,様々な主要なオープンソース LLM に関する実験により, 提案手法が様々なビット設定における最先端結果を達成することを示す。
  論文  参考訳（メタデータ） (2024-05-27T14:49:39Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• Improving generalization in large language models by learning prefix subspaces [5.911540700785975]
  本稿では、希少なデータ構造における大規模言語モデル(LLM)の微調整に焦点を当てる("few-shot"学習環境としても知られる)。 ニューラルネットワーク部分空間に基づくLLMの一般化能力を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T12:44:09Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。