論文の概要: Large Language Model Compression with Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2410.06479v2
• Date: Mon, 4 Nov 2024 07:28:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 14:50:13.451696
• Title: Large Language Model Compression with Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャサーチによる大規模言語モデル圧縮
• Authors: Rhea Sanjay Sukthanker, Benedikt Staffler, Frank Hutter, Aaron Klein,
• Abstract要約: ニューラルアーキテクチャ検索を利用して、大きな言語モデルを圧縮する。 デバイス上でのレイテンシの高速化により,NASはMMLUの性能を最大3.4%向上することを示す。
• 参考スコア（独自算出の注目度）: 41.452512557226335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit remarkable reasoning abilities, allowing them to generalize across a wide range of downstream tasks, such as commonsense reasoning or instruction following. However, as LLMs scale, inference costs become increasingly prohibitive, accumulating significantly over their life cycle. This poses the question: Can we compress pre-trained LLMs to meet diverse size and latency requirements? We leverage Neural Architecture Search (NAS) to compress LLMs by pruning structural components, such as attention heads, neurons, and layers, aiming to achieve a Pareto-optimal balance between performance and efficiency. While NAS already achieved promising results on small language models in previous work, in this paper we propose various extensions that allow us to scale to LLMs. Compared to structural pruning baselines, we show that NAS improves performance up to 3.4% on MMLU with an on-device latency speedup.
• Abstract（参考訳）: 大規模言語モデル(LLM)は顕著な推論能力を示し、コモンセンス推論や命令従順といった幅広い下流タスクを一般化することができる。 しかし、LLMの規模が大きくなるにつれて、推論コストはますます禁じられ、ライフサイクルを通じて著しく蓄積される。 さまざまなサイズとレイテンシ要件を満たすために、事前訓練済みのLLMを圧縮できますか? 我々は、ニューラルアーキテクチャサーチ(NAS)を用いて、アテンションヘッド、ニューロン、レイヤなどの構造部品を刈り込み、性能と効率のパレート最適バランスを達成することを目的として、LCMを圧縮する。 従来,NAS は小規模言語モデルにおいて有望な成果を上げてきたが,本論文では LLM に拡張できる様々な拡張を提案する。 構造的なプルーニングベースラインと比較して,NASはデバイス上でのレイテンシの高速化によりMMLUの性能を最大3.4%向上することを示す。

関連論文リスト

• LLMCBench: Benchmarking Large Language Model Compression for Efficient Deployment [36.958867918858296]
  大規模言語モデル (LLM) は、その強力な知能を実証しているが、計算とストレージの需要が高いため、実用化は困難である。 本稿ではLLMCBench(Large Language Model Compression Benchmark)を提案する。
  論文  参考訳（メタデータ） (2024-10-28T14:45:01Z)
• SplitLLM: Collaborative Inference of LLMs for Model Placement and Throughput Optimization [8.121663525764294]
  大きな言語モデル(LLM)は、人間のようなテキストを理解し、生成する能力のために、私たちの日常生活において重要な役割を担います。 本稿では,サーバとクライアント間の協調推論アーキテクチャを設計し,スループットの限界を緩和する。 実験では、サーバのワークロードを約1/3削減できるように、効率よくワークロードを分散できることを示した。
  論文  参考訳（メタデータ） (2024-10-14T17:38:41Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• Contemporary Model Compression on Large Language Models Inference [7.307436175842646]
  大規模言語モデル(LLM)は、様々なタスクで最先端の結果を達成することによって、自然言語処理に革命をもたらした。 LLM推論の計算要求は、高いメモリ消費と遅い処理速度を含み、現実世界のアプリケーションにとって大きな課題となっている。 本研究では, LLMのサイズと計算量を削減することにより, これらの課題に対処するモデル圧縮技術について検討する。
  論文  参考訳（メタデータ） (2024-09-03T15:35:01Z)
• Performance Law of Large Language Models [58.32539851241063]
  性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを導くために用いられる。 性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを広範な実験なしで導くのに利用できる。
  論文  参考訳（メタデータ） (2024-08-19T11:09:12Z)
• LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models [3.4070166891274263]
  大規模言語モデル(LLM)は、自然言語処理、複雑な推論、感情分析、その他のタスクを解決する。 これらの能力はメモリと計算コストが非常に高く、ほとんどのハードウェアプラットフォームでのLLMの使用を妨げている。 ワンショットNASを用いたLLaMA2-7Bに基づくパレート最適ネットワークアーキテクチャの探索手法を提案する。 特定の標準ベンチマークタスクに対して、事前訓練されたLLaMA2-7Bネットワークは不要に大きく、複雑であることを示す。
  論文  参考訳（メタデータ） (2024-05-28T17:20:44Z)
• LLM Performance Predictors are good initializers for Architecture Search [28.251129134057035]
  我々は、下流タスクにおける特定のディープニューラルネットワークアーキテクチャの性能を推定するパフォーマンス予測器(PP)を構築した。 機械翻訳 (MT) タスクでは, PPプロンプト (LLM-PP) を用いた GPT-4 は SoTA 平均絶対誤差と, ベースライン予測器と比較してランク相関係数がわずかに低下する。 ニューラルネットワーク探索 (NAS) では, LLM-Distill-PP を用いたハイブリッド探索アルゴリズム (HS-NAS) を導入する。
  論文  参考訳（メタデータ） (2023-10-25T15:34:30Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。