論文の概要: LLM Performance Predictors are good initializers for Architecture Search

• arxiv url: http://arxiv.org/abs/2310.16712v1
• Date: Wed, 25 Oct 2023 15:34:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 13:50:55.862210
• Title: LLM Performance Predictors are good initializers for Architecture Search
• Title（参考訳）: LLM性能予測器はアーキテクチャ検索に適した初期化器である
• Authors: Ganesh Jawahar, Muhammad Abdul-Mageed, Laks V. S. Lakshmanan, Dujian Ding
• Abstract要約: 大規模言語モデル(LLM)は、幅広いNLPタスクの解決において重要な要素となっている。 本研究では,LLMを用いて性能予測器(PP)を構築する新しいユースケースについて検討する。 PPプロンプト (LLM-PP) を用いた GPT-4 は,SOTA との平均絶対誤差でアーキテクチャの性能を予測できることを示す。 また、HS-NASはベンチマーク間でSOTA NASと非常によく似た性能を示し、検索時間を約50%削減し、場合によってはレイテンシ、GFLOP、モデルサイズを改善している。
• 参考スコア（独自算出の注目度）: 30.862329031678232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have become an integral component in solving a wide range of NLP tasks. In this work, we explore a novel use case of using LLMs to build performance predictors (PP): models that, given a specific deep neural network architecture, predict its performance on a downstream task. We design PP prompts for LLMs consisting of: (i) role: description of the role assigned to the LLM, (ii) instructions: set of instructions to be followed by the LLM to carry out performance prediction, (iii) hyperparameters: a definition of each architecture-specific hyperparameter and (iv) demonstrations: sample architectures along with their efficiency metrics and 'training from scratch' performance. For machine translation (MT) tasks, we discover that GPT-4 with our PP prompts (LLM-PP) can predict the performance of architecture with a mean absolute error matching the SOTA and a marginal degradation in rank correlation coefficient compared to SOTA performance predictors. Further, we show that the predictions from LLM-PP can be distilled to a small regression model (LLM-Distill-PP). LLM-Distill-PP models surprisingly retain the performance of LLM-PP largely and can be a cost-effective alternative for heavy use cases of performance estimation. Specifically, for neural architecture search (NAS), we propose a Hybrid-Search algorithm for NAS (HS-NAS), which uses LLM-Distill-PP for the initial part of search, resorting to the baseline predictor for rest of the search. We show that HS-NAS performs very similar to SOTA NAS across benchmarks, reduces search hours by 50% roughly, and in some cases, improves latency, GFLOPs, and model size.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いNLPタスクの解決において重要な要素となっている。 本稿では,llmsを用いてパフォーマンス予測器(pp)を構築する,新たなユースケースについて検討する。 特定のディープニューラルネットワークアーキテクチャを前提として,下流タスクにおけるパフォーマンスを予測するモデル。 LLMのためのPPプロンプトを設計する。 (i)役割:LLMに割り当てられた役割の記載 (ii)指示:性能予測を行うためにllmに従わなければならない指示の組。 (iii)ハイパーパラメータ:各アーキテクチャ固有のハイパーパラメータの定義と (iv)デモ: サンプルアーキテクチャとその効率指標、"スクラッチからトレーニングする"パフォーマンス。 機械翻訳 (MT) タスクでは, PPプロンプト (LLM-PP) を用いた GPT-4 が, SOTA にマッチする平均絶対誤差と SOTA 性能予測器と比較してランク相関係数の限界劣化でアーキテクチャの性能を予測できることがわかった。 さらに, LLM-PP からの予測を小さな回帰モデル (LLM-Distill-PP) に蒸留可能であることを示す。 LLM-Distill-PPモデルは、LCM-PPの性能を驚くほど保ち、性能推定の重いユースケースに対する費用対効果がある。 具体的には、ニューラルネットワーク探索(NAS)において、探索の初期部分に対してLLM-Distill-PPを用いたNAS(HS-NAS)のハイブリッド探索アルゴリズムを提案する。 HS-NASはベンチマーク間でSOTA NASと非常によく似ており、検索時間を約50%削減し、場合によってはレイテンシ、GFLOP、モデルサイズを改善する。

関連論文リスト

• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Sequential Large Language Model-Based Hyper-parameter Optimization [0.0]
  本研究では,大規模言語モデル(LLM)をハイパーパラメータ最適化(HPO)に活用する革新的なフレームワークSLLMBOを紹介する。 動的探索空間適応性、拡張パラメータ空間利用、新しいLLM木構造パーゼン推定器(LLM-TPE)が組み込まれている。 この総合ベンチマークは、GPT-3.5-Turbo、GPT-4o、Claude-Sonnet-3.5、Gemini-1.5-Flashを含む複数のLCMを評価する。
  論文  参考訳（メタデータ） (2024-10-27T00:50:30Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。 我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。 我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models [53.638791265113625]
  空間保存型大規模言語モデルのための効率的な微調整法 コードはhttps://github.com/Lucky-Lance/SPP.comで公開される。
  論文  参考訳（メタデータ） (2024-05-25T04:55:27Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
  パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。 本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
  大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。 本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。