論文の概要: Greening Large Language Models of Code

• arxiv url: http://arxiv.org/abs/2309.04076v3
• Date: Fri, 12 Jan 2024 02:17:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 21:29:39.087590
• Title: Greening Large Language Models of Code
• Title（参考訳）: コードの大規模言語モデルの緑化
• Authors: Jieke Shi, Zhou Yang, Hong Jin Kang, Bowen Xu, Junda He, David Lo
• Abstract要約: Avatarは、コードの大規模な言語モデルからデプロイ可能なモデルを構築する、新しいアプローチである。 アバターの鍵となる考え方は、多目的構成チューニング問題として言語モデルの最適化を定式化することである。 私たちはAvatarを使って、小型の3MBの最適化モデルを作成しました。
• 参考スコア（独自算出の注目度）: 13.840108405182407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models of code have shown remarkable effectiveness across various software engineering tasks. Despite the availability of many cloud services built upon these powerful models, there remain several scenarios where developers cannot take full advantage of them, stemming from factors such as restricted or unreliable internet access, institutional privacy policies that prohibit external transmission of code to third-party vendors, and more. Therefore, developing a compact, efficient, and yet energy-saving model for deployment on developers' devices becomes essential. To this aim, we propose Avatar, a novel approach that crafts a deployable model from a large language model of code by optimizing it in terms of model size, inference latency, energy consumption, and carbon footprint while maintaining a comparable level of effectiveness. The key idea of Avatar is to formulate the optimization of language models as a multi-objective configuration tuning problem and solve it with the help of a Satisfiability Modulo Theories (SMT) solver and a tailored optimization algorithm. The SMT solver is used to form an appropriate configuration space, while the optimization algorithm identifies the Pareto-optimal set of configurations for training the optimized models using knowledge distillation. We evaluate Avatar with two popular language models of code, i.e., CodeBERT and GraphCodeBERT, on two popular tasks, i.e., vulnerability prediction and clone detection. We use Avatar to produce optimized models with a small size (3 MB), which is 160$\times$ smaller than the original large models. On the two tasks, the optimized models significantly reduce the energy consumption (up to 184$\times$ less), carbon footprint (up to 157$\times$ less), and inference latency (up to 76$\times$ faster), with only a negligible loss in effectiveness (1.67\% on average).
• Abstract（参考訳）: コードの大規模な言語モデルは、様々なソフトウェアエンジニアリングタスクにおいて顕著な効果を示している。 これらの強力なモデル上に構築された多くのクラウドサービスが利用可能であるにも関わらず、制限されたあるいは信頼性の低いインターネットアクセスや、サードパーティベンダへのコードの外部送信を禁じる制度的なプライバシポリシなど、開発者がそれをフルに活用できないいくつかのシナリオが残っている。 したがって、開発者のデバイスに配置するためのコンパクトで効率的な省エネルギーモデルの開発が不可欠である。 そこで本研究では, モデルサイズ, 推論遅延, エネルギー消費, 炭素フットプリントを最適化し, 同等の効率性を維持しながら, 大規模言語モデルからデプロイ可能なモデルを構築する新しいアプローチであるAvatarを提案する。 アバターの重要な考え方は、言語モデルの最適化を多目的構成チューニング問題として定式化し、満足性モジュラー理論(smt)解法と最適化アルゴリズムの助けを借りて解くことである。 SMTソルバは適切な構成空間を形成するために使用され、最適化アルゴリズムは知識蒸留を用いて最適化されたモデルのトレーニングのためのパレート最適構成を識別する。 我々は、脆弱性予測とクローン検出という2つの一般的なタスクにおいて、AvatarをCodeBERTとGraphCodeBERTの2つの人気のある言語モデルで評価する。 私たちはAvatarを使って、小さなサイズ(3MB)で最適化されたモデルを作ります。 2つのタスクでは、最適化されたモデルによってエネルギー消費量(最大184$\times$以下)、カーボンフットプリント(最大157$\times$以下)、推論レイテンシ(最大76$\times$高速)が大幅に削減され、有効性が低下する(平均1.67\%)。

関連論文リスト

• Model Fusion through Bayesian Optimization in Language Model Fine-Tuning [16.86812534268461]
  下流タスクのための微調整された事前学習モデルは、様々な領域にまたがる適応性と信頼性で広く採用されているテクニックである。 本稿では,多目的ベイズ最適化により,所望の計量と損失の両方を最適化する新しいモデル融合手法を提案する。 各種下流タスクを対象とした実験では,ベイズ最適化誘導方式による大幅な性能向上が見られた。
  論文  参考訳（メタデータ） (2024-11-11T04:36:58Z)
• Measuring Code Efficiency Optimization Capabilities with ACEOB [7.4056083791645495]
  モデルトレーニングデータセットの「コードパターン」を詳細に分析し、人間の手書きコードを慎重に探索する。 95,359組の効率非効率コードからなる自動コード効率最適化ベンチマーク(ACEOB)を導入する。 私たちの知る限り、ACEOBはPythonコードの効率最適化に特化した最初のデータセットです。
  論文  参考訳（メタデータ） (2024-08-23T10:10:37Z)
• Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
  大規模言語モデル(LLM)は、特殊モデルから多目的基礎モデルへと移行してきた。 LLMは印象的なゼロショット能力を示すが、ローカルデータセットとデプロイメントのための重要なリソースを微調整する必要がある。
  論文  参考訳（メタデータ） (2024-08-20T09:42:17Z)
• Concept Distillation from Strong to Weak Models via Hypotheses-to-Theories Prompting [7.146498833443095]
  概念蒸留(CD)は、複雑なタスクにおいてより弱いモデルを強化するための自動プロンプト最適化手法である。 CDは、(1)ベースプロンプト(初期化)による弱いモデルによるミスの収集、(2)強いモデルを使用してこれらのミスの原因を生成し、弱いモデル(推論)のためのルール/概念を作成し、(3)検証セットのパフォーマンスに基づいてこれらのルールをフィルタリングする。 我々はNL2Codeと数学的推論タスクにおけるCDの評価を行い、より小型で弱い言語モデルに対する顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2024-08-18T05:37:48Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Model Compression and Efficient Inference for Large Language Models: A Survey [20.199282252344396]
  大きな言語モデルは、より小さなモデルに比べて2つの顕著な特徴を持つ。 大きなモデルの最も顕著な側面は、モデルの微調整やトレーニングに関連する非常に高いコストである。 大規模モデルは、1つのタスクのパフォーマンスよりも、汎用性と一般化を強調する。
  論文  参考訳（メタデータ） (2024-02-15T06:58:30Z)
• Slapo: A Schedule Language for Progressive Optimization of Large Deep Learning Model Training [17.556432199389615]
  Slapoは、テンソルレベルの演算子の実行をその算術的定義から切り離すスケジュール言語である。 SlapoはNVIDIA V100 GPUを8台搭載した1台のマシンで最大2.92倍のトレーニングスループットを向上できることを示す。
  論文  参考訳（メタデータ） (2023-02-16T00:34:53Z)
• A Unified Cascaded Encoder ASR Model for Dynamic Model Sizes [54.83802872236367]
  本稿では,異なる配置シナリオのモデルを統一した動的カスケードエンコーダ自動音声認識(ASR)モデルを提案する。 提案モデルでは, ベースラインのカスケードエンコーダモデルと比較して30%小さく, 消費電力を33%削減する。 大、中、小のモデルを統一した3つのサイズモデルは、最小品質の損失で37%の総サイズ縮小を達成する。
  論文  参考訳（メタデータ） (2022-04-13T04:15:51Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。