論文の概要: LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models

• arxiv url: http://arxiv.org/abs/2405.18377v1
• Date: Tue, 28 May 2024 17:20:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 17:30:42.146036
• Title: LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models
• Title（参考訳）: LLaMA-NAS:大規模言語モデルの効率的なニューラルネットワーク探索
• Authors: Anthony Sarah, Sharath Nittur Sridhar, Maciej Szankin, Sairam Sundaresan,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理、複雑な推論、感情分析、その他のタスクを解決する。 これらの能力はメモリと計算コストが非常に高く、ほとんどのハードウェアプラットフォームでのLLMの使用を妨げている。 ワンショットNASを用いたLLaMA2-7Bに基づくパレート最適ネットワークアーキテクチャの探索手法を提案する。 特定の標準ベンチマークタスクに対して、事前訓練されたLLaMA2-7Bネットワークは不要に大きく、複雑であることを示す。
• 参考スコア（独自算出の注目度）: 3.4070166891274263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The abilities of modern large language models (LLMs) in solving natural language processing, complex reasoning, sentiment analysis and other tasks have been extraordinary which has prompted their extensive adoption. Unfortunately, these abilities come with very high memory and computational costs which precludes the use of LLMs on most hardware platforms. To mitigate this, we propose an effective method of finding Pareto-optimal network architectures based on LLaMA2-7B using one-shot NAS. In particular, we fine-tune LLaMA2-7B only once and then apply genetic algorithm-based search to find smaller, less computationally complex network architectures. We show that, for certain standard benchmark tasks, the pre-trained LLaMA2-7B network is unnecessarily large and complex. More specifically, we demonstrate a 1.5x reduction in model size and 1.3x speedup in throughput for certain tasks with negligible drop in accuracy. In addition to finding smaller, higher-performing network architectures, our method does so more effectively and efficiently than certain pruning or sparsification techniques. Finally, we demonstrate how quantization is complementary to our method and that the size and complexity of the networks we find can be further decreased using quantization. We believe that our work provides a way to automatically create LLMs which can be used on less expensive and more readily available hardware platforms.
• Abstract（参考訳）: 自然言語処理、複雑な推論、感情分析、その他のタスクにおける現代の大規模言語モデル(LLM)の能力は異例であり、広く採用されている。 残念なことに、これらの能力はメモリと計算コストが非常に高く、ほとんどのハードウェアプラットフォームでのLLMの使用を妨げている。 そこで本研究では,1ショットNASを用いたLLaMA2-7Bに基づくパレート最適ネットワークアーキテクチャの探索手法を提案する。 特に、LLaMA2-7Bを1回だけ微調整し、遺伝的アルゴリズムに基づく探索を適用して、より小さく、より計算力の少ないネットワークアーキテクチャを見つける。 特定の標準ベンチマークタスクに対して、事前訓練されたLLaMA2-7Bネットワークは不要に大きく、複雑であることを示す。 より具体的には、モデルサイズの1.5倍の削減と1.3倍のスループットを、無視できる精度の低下のあるタスクに対して示す。 より小型で高性能なネットワークアーキテクチャの発見に加えて,特定プルーニングやスパシフィケーション技術よりも効率的かつ効率的な手法が提案されている。 最後に、量子化が我々の方法とどのように相補的であるかを示し、また、量子化を用いて、発見するネットワークのサイズと複雑さをさらに減らすことができることを示した。 当社の作業は,安価で手軽なハードウェアプラットフォームで使用可能なLDMを自動生成する手段を提供するものだ,と私たちは信じています。

関連論文リスト

• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)
• RedCoast: A Lightweight Tool to Automate Distributed Training of LLMs on Any GPU/TPUs [32.01139974519813]
  大規模言語モデル(LLM)の分散トレーニングと推論を自動化するツールであるRedCoastを紹介する。 また,3つの関数の定義により,多様なMLパイプラインをカスタマイズする機構を提案する。 その結果、Redcoの実装は公式実装に比べてコード行数が大幅に減った。
  論文  参考訳（メタデータ） (2023-10-25T04:32:35Z)
• LLMatic: Neural Architecture Search via Large Language Models and Quality Diversity Optimization [4.951599300340954]
  大きな言語モデル(LLM)は、幅広いタスクをこなせる強力なツールとして登場した。 本稿では、LLMの符号化機能を用いて、ニューラルネットワークを定義するコードに意味のあるバリエーションを導入することを提案する。 本稿では,LLMのコード生成能力とQDソリューションの多様性と堅牢性を融合させることで,ニューラルネットワーク探索(NAS)アルゴリズムであるtextttLLMaticを導入する。
  論文  参考訳（メタデータ） (2023-06-01T19:33:21Z)
• Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
  マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。 本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-23T14:31:52Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。