論文の概要: Greening Large Language Models of Code
- arxiv url: http://arxiv.org/abs/2309.04076v3
- Date: Fri, 12 Jan 2024 02:17:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 21:29:39.087590
- Title: Greening Large Language Models of Code
- Title(参考訳): コードの大規模言語モデルの緑化
- Authors: Jieke Shi, Zhou Yang, Hong Jin Kang, Bowen Xu, Junda He, David Lo
- Abstract要約: Avatarは、コードの大規模な言語モデルからデプロイ可能なモデルを構築する、新しいアプローチである。
アバターの鍵となる考え方は、多目的構成チューニング問題として言語モデルの最適化を定式化することである。
私たちはAvatarを使って、小型の3MBの最適化モデルを作成しました。
- 参考スコア(独自算出の注目度): 13.840108405182407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models of code have shown remarkable effectiveness across
various software engineering tasks. Despite the availability of many cloud
services built upon these powerful models, there remain several scenarios where
developers cannot take full advantage of them, stemming from factors such as
restricted or unreliable internet access, institutional privacy policies that
prohibit external transmission of code to third-party vendors, and more.
Therefore, developing a compact, efficient, and yet energy-saving model for
deployment on developers' devices becomes essential.
To this aim, we propose Avatar, a novel approach that crafts a deployable
model from a large language model of code by optimizing it in terms of model
size, inference latency, energy consumption, and carbon footprint while
maintaining a comparable level of effectiveness. The key idea of Avatar is to
formulate the optimization of language models as a multi-objective
configuration tuning problem and solve it with the help of a Satisfiability
Modulo Theories (SMT) solver and a tailored optimization algorithm. The SMT
solver is used to form an appropriate configuration space, while the
optimization algorithm identifies the Pareto-optimal set of configurations for
training the optimized models using knowledge distillation. We evaluate Avatar
with two popular language models of code, i.e., CodeBERT and GraphCodeBERT, on
two popular tasks, i.e., vulnerability prediction and clone detection. We use
Avatar to produce optimized models with a small size (3 MB), which is
160$\times$ smaller than the original large models. On the two tasks, the
optimized models significantly reduce the energy consumption (up to 184$\times$
less), carbon footprint (up to 157$\times$ less), and inference latency (up to
76$\times$ faster), with only a negligible loss in effectiveness (1.67\% on
average).
- Abstract(参考訳): コードの大規模な言語モデルは、様々なソフトウェアエンジニアリングタスクにおいて顕著な効果を示している。
これらの強力なモデル上に構築された多くのクラウドサービスが利用可能であるにも関わらず、制限されたあるいは信頼性の低いインターネットアクセスや、サードパーティベンダへのコードの外部送信を禁じる制度的なプライバシポリシなど、開発者がそれをフルに活用できないいくつかのシナリオが残っている。
したがって、開発者のデバイスに配置するためのコンパクトで効率的な省エネルギーモデルの開発が不可欠である。
そこで本研究では, モデルサイズ, 推論遅延, エネルギー消費, 炭素フットプリントを最適化し, 同等の効率性を維持しながら, 大規模言語モデルからデプロイ可能なモデルを構築する新しいアプローチであるAvatarを提案する。
アバターの重要な考え方は、言語モデルの最適化を多目的構成チューニング問題として定式化し、満足性モジュラー理論(smt)解法と最適化アルゴリズムの助けを借りて解くことである。
SMTソルバは適切な構成空間を形成するために使用され、最適化アルゴリズムは知識蒸留を用いて最適化されたモデルのトレーニングのためのパレート最適構成を識別する。
我々は、脆弱性予測とクローン検出という2つの一般的なタスクにおいて、AvatarをCodeBERTとGraphCodeBERTの2つの人気のある言語モデルで評価する。
私たちはAvatarを使って、小さなサイズ(3MB)で最適化されたモデルを作ります。
2つのタスクでは、最適化されたモデルによってエネルギー消費量(最大184$\times$以下)、カーボンフットプリント(最大157$\times$以下)、推論レイテンシ(最大76$\times$高速)が大幅に削減され、有効性が低下する(平均1.67\%)。
関連論文リスト
- Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。
我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。
我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
論文 参考訳(メタデータ) (2024-04-02T17:58:49Z) - Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。
本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。
提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
論文 参考訳(メタデータ) (2024-03-20T00:41:12Z) - Model Compression and Efficient Inference for Large Language Models: A
Survey [20.199282252344396]
大きな言語モデルは、より小さなモデルに比べて2つの顕著な特徴を持つ。
大きなモデルの最も顕著な側面は、モデルの微調整やトレーニングに関連する非常に高いコストである。
大規模モデルは、1つのタスクのパフォーマンスよりも、汎用性と一般化を強調する。
論文 参考訳(メタデータ) (2024-02-15T06:58:30Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2023-03-20T19:20:34Z) - Slapo: A Schedule Language for Progressive Optimization of Large Deep
Learning Model Training [17.556432199389615]
Slapoは、テンソルレベルの演算子の実行をその算術的定義から切り離すスケジュール言語である。
SlapoはNVIDIA V100 GPUを8台搭載した1台のマシンで最大2.92倍のトレーニングスループットを向上できることを示す。
論文 参考訳(メタデータ) (2023-02-16T00:34:53Z) - Who Says Elephants Can't Run: Bringing Large Scale MoE Models into Cloud
Scale Production [7.056223012587321]
本稿では,スパースモデルの計算を高速化するために,いくつかの最適化手法を用いた高効率推論フレームワークを提案する。
既存のソリューションに比べて,コストが27%削減され,品質が大幅に向上した136倍のモデルをデプロイすることが可能です。
論文 参考訳(メタデータ) (2022-11-18T03:43:52Z) - A Unified Cascaded Encoder ASR Model for Dynamic Model Sizes [54.83802872236367]
本稿では,異なる配置シナリオのモデルを統一した動的カスケードエンコーダ自動音声認識(ASR)モデルを提案する。
提案モデルでは, ベースラインのカスケードエンコーダモデルと比較して30%小さく, 消費電力を33%削減する。
大、中、小のモデルを統一した3つのサイズモデルは、最小品質の損失で37%の総サイズ縮小を達成する。
論文 参考訳(メタデータ) (2022-04-13T04:15:51Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳(メタデータ) (2021-07-14T17:55:28Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳(メタデータ) (2020-08-02T02:56:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。