論文の概要: LLM Performance Predictors are good initializers for Architecture Search

• arxiv url: http://arxiv.org/abs/2310.16712v1
• Date: Wed, 25 Oct 2023 15:34:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 13:50:55.862210
• Title: LLM Performance Predictors are good initializers for Architecture Search
• Title（参考訳）: LLM性能予測器はアーキテクチャ検索に適した初期化器である
• Authors: Ganesh Jawahar, Muhammad Abdul-Mageed, Laks V. S. Lakshmanan, Dujian Ding
• Abstract要約: 大規模言語モデル(LLM)は、幅広いNLPタスクの解決において重要な要素となっている。 本研究では,LLMを用いて性能予測器(PP)を構築する新しいユースケースについて検討する。 PPプロンプト (LLM-PP) を用いた GPT-4 は,SOTA との平均絶対誤差でアーキテクチャの性能を予測できることを示す。 また、HS-NASはベンチマーク間でSOTA NASと非常によく似た性能を示し、検索時間を約50%削減し、場合によってはレイテンシ、GFLOP、モデルサイズを改善している。
• 参考スコア（独自算出の注目度）: 30.862329031678232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have become an integral component in solving a wide range of NLP tasks. In this work, we explore a novel use case of using LLMs to build performance predictors (PP): models that, given a specific deep neural network architecture, predict its performance on a downstream task. We design PP prompts for LLMs consisting of: (i) role: description of the role assigned to the LLM, (ii) instructions: set of instructions to be followed by the LLM to carry out performance prediction, (iii) hyperparameters: a definition of each architecture-specific hyperparameter and (iv) demonstrations: sample architectures along with their efficiency metrics and 'training from scratch' performance. For machine translation (MT) tasks, we discover that GPT-4 with our PP prompts (LLM-PP) can predict the performance of architecture with a mean absolute error matching the SOTA and a marginal degradation in rank correlation coefficient compared to SOTA performance predictors. Further, we show that the predictions from LLM-PP can be distilled to a small regression model (LLM-Distill-PP). LLM-Distill-PP models surprisingly retain the performance of LLM-PP largely and can be a cost-effective alternative for heavy use cases of performance estimation. Specifically, for neural architecture search (NAS), we propose a Hybrid-Search algorithm for NAS (HS-NAS), which uses LLM-Distill-PP for the initial part of search, resorting to the baseline predictor for rest of the search. We show that HS-NAS performs very similar to SOTA NAS across benchmarks, reduces search hours by 50% roughly, and in some cases, improves latency, GFLOPs, and model size.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いNLPタスクの解決において重要な要素となっている。 本稿では,llmsを用いてパフォーマンス予測器(pp)を構築する,新たなユースケースについて検討する。 特定のディープニューラルネットワークアーキテクチャを前提として,下流タスクにおけるパフォーマンスを予測するモデル。 LLMのためのPPプロンプトを設計する。 (i)役割:LLMに割り当てられた役割の記載 (ii)指示:性能予測を行うためにllmに従わなければならない指示の組。 (iii)ハイパーパラメータ:各アーキテクチャ固有のハイパーパラメータの定義と (iv)デモ: サンプルアーキテクチャとその効率指標、"スクラッチからトレーニングする"パフォーマンス。 機械翻訳 (MT) タスクでは, PPプロンプト (LLM-PP) を用いた GPT-4 が, SOTA にマッチする平均絶対誤差と SOTA 性能予測器と比較してランク相関係数の限界劣化でアーキテクチャの性能を予測できることがわかった。 さらに, LLM-PP からの予測を小さな回帰モデル (LLM-Distill-PP) に蒸留可能であることを示す。 LLM-Distill-PPモデルは、LCM-PPの性能を驚くほど保ち、性能推定の重いユースケースに対する費用対効果がある。 具体的には、ニューラルネットワーク探索(NAS)において、探索の初期部分に対してLLM-Distill-PPを用いたNAS(HS-NAS)のハイブリッド探索アルゴリズムを提案する。 HS-NASはベンチマーク間でSOTA NASと非常によく似ており、検索時間を約50%削減し、場合によってはレイテンシ、GFLOP、モデルサイズを改善する。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• SLMRec: Empowering Small Language Models for Sequential Recommendation [25.920216777752]
  シーケンシャルレコメンデーションタスクでは、ユーザが対話しそうな次の項目を予測する。 最近の研究は、LCMがシーケンシャルレコメンデーションシステムに与える影響を実証している。 LLM の巨大なサイズのため、現実のプラットフォームに LLM ベースのモデルを適用するのは非効率で実用的ではない。
  論文  参考訳（メタデータ） (2024-05-28T07:12:06Z)
• Metric-aware LLM inference for regression and scoring [52.764328080398805]
  大規模言語モデル(LLM)は、様々なNLPタスクに対して強い結果を示してきた。 我々は,この推論戦略が,様々な回帰・スコアリングタスクや関連する評価指標に最適であることを示す。 我々は、カスタム回帰を最適化し、推定時にメトリクスをスコアリングする決定論的アプローチである、意識的距離 LLM 推論を提案する。
  論文  参考訳（メタデータ） (2024-03-07T03:24:34Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
  大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。 本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。