論文の概要: Scope is all you need: Transforming LLMs for HPC Code
- arxiv url: http://arxiv.org/abs/2308.09440v3
- Date: Fri, 29 Sep 2023 16:11:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 17:47:34.947992
- Title: Scope is all you need: Transforming LLMs for HPC Code
- Title（参考訳）: スコープは必要なもの:HPCコードにLLMを変換する
- Authors: Tal Kadosh, Niranjan Hasabnis, Vy A. Vo, Nadav Schneider, Neva Krien,
Abdul Wasay, Nesreen Ahmed, Ted Willke, Guy Tamir, Yuval Pinter, Timothy
Mattson, and Gal Oren
- Abstract要約: 本稿では,HPCにおける前処理やコンパイル中心のタスクに特化して設計された,Tokompilerという新しいトークン機構を提案する。
Tokompilerは言語プリミティブの知識を活用して、言語指向のトークンを生成し、コード構造をコンテキスト対応で理解する。
その結果、Tokompilerは従来のトークン化ツールに比べてコード補完精度と意味理解を著しく向上させることがわかった。
- 参考スコア（独自算出の注目度）: 5.0227775038998415
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With easier access to powerful compute resources, there is a growing trend in
the field of AI for software development to develop larger and larger language
models (LLMs) to address a variety of programming tasks. Even LLMs applied to
tasks from the high-performance computing (HPC) domain are huge in size (e.g.,
billions of parameters) and demand expensive compute resources for training. We
found this design choice confusing - why do we need large LLMs trained on
natural languages and programming languages unrelated to HPC for HPC-specific
tasks? In this line of work, we aim to question design choices made by existing
LLMs by developing smaller LLMs for specific domains - we call them
domain-specific LLMs. Specifically, we start off with HPC as a domain and
propose a novel tokenizer named Tokompiler, designed specifically for
preprocessing code in HPC and compilation-centric tasks. Tokompiler leverages
knowledge of language primitives to generate language-oriented tokens,
providing a context-aware understanding of code structure while avoiding human
semantics attributed to code structures completely. We applied Tokompiler to
pre-train two state-of-the-art models, SPT-Code and Polycoder, for a Fortran
code corpus mined from GitHub. We evaluate the performance of these models
against the conventional LLMs. Results demonstrate that Tokompiler
significantly enhances code completion accuracy and semantic understanding
compared to traditional tokenizers in normalized-perplexity tests, down to ~1
perplexity score. This research opens avenues for further advancements in
domain-specific LLMs, catering to the unique demands of HPC and compilation
tasks.
- Abstract（参考訳）: 強力な計算リソースへのアクセスが容易になるにつれ、ソフトウェア開発におけるAIの分野において、さまざまなプログラミングタスクに対処する大規模で大規模な言語モデル(LLM)を開発する傾向が高まっている。
ハイパフォーマンスコンピューティング(HPC)領域のタスクに適用されるLLMでさえ、巨大なサイズ(数十億のパラメータなど)であり、トレーニングに高価な計算資源を必要とする。
HPC固有のタスクには、HPCとは無関係な自然言語やプログラミング言語でトレーニングされた大規模なLLMが必要なのでしょうか?
この一連の研究において、我々は、特定のドメインに対してより小さなLLMを開発することで、既存のLLMの設計選択を問うことを目指しています。
具体的には、ドメインとしてのHPCから始まり、HPCのコード前処理とコンパイル中心のタスクに特化して設計された、Tokompilerという新しいトークン化ツールを提案する。
Tokompilerは言語プリミティブの知識を活用して言語指向のトークンを生成し、コード構造に対するコンテキスト対応の理解を提供する。
私たちはTokompilerを2つの最先端モデルであるSPT-CodeとPolycoderの事前トレーニングに使用しました。
これらのモデルの性能を従来のLLMと比較して評価する。
結果から,Tokompilerは正規化・複雑化テストにおける従来のトークン化ツールと比較して,コード補完精度と意味理解を約1パープレキシティスコアまで向上させることがわかった。
本研究は、HPCとコンパイルタスクのユニークな要求に対応するため、ドメイン固有のLLMのさらなる進歩の道を開く。
関連論文リスト
- Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。
結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
論文 参考訳（メタデータ） (2024-11-06T10:28:46Z) - MTLLM: LLMs are Meaning-Typed Code Constructs [7.749453456370407]
本稿では,大規模言語モデル(LLM)をプログラミングに統合するための簡易なアプローチを提案する。
提案手法は,従来のプログラミング言語と自然言語を自動的に翻訳するために,既存のプログラムのセマンティック・リッチネスを利用する。
そこで本研究では,SOTA LLMソフトウェア開発ツールと比較し,本手法の完全機能および実運用レベルの実装について述べる。
論文 参考訳（メタデータ） (2024-05-14T21:12:01Z) - CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。
CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。
5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
論文 参考訳（メタデータ） (2024-04-24T04:25:04Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-02-02T13:14:31Z) - OMPGPT: A Generative Pre-trained Transformer Model for OpenMP [6.917568654215119]
OMPGPTは、OpenMPプラグマ生成のための言語モデル固有の強みを巧みに活用するために設計された、新しいドメイン固有モデルである。
我々は、NLPドメインからの迅速なエンジニアリング技術を活用し、OMPGPTの有効性を高めるために設計された革新的な戦略であるChain-of-OMPを作成する。
論文 参考訳（メタデータ） (2024-01-28T06:06:59Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳（メタデータ） (2024-01-01T16:51:20Z) - MonoCoder: Domain-Specific Code Language Model for HPC Codes and Tasks [5.125171374181664]
ソフトウェア開発におけるAIのトレンドは、様々なプログラミングタスクに対処する大規模言語モデル(LLM)を開発することである。
ハイパフォーマンスコンピューティング(HPC)領域のタスクに適用されるLLMでさえ、巨大なサイズであり、トレーニングに高価な計算リソースを必要とする。
これは、HPCタスク用のLLMが、いくつかの自然および/またはプログラミング言語をサポートする既存のLLMを微調整することによって得られるためである。
既存のLMよりも桁違いに小さいが,非HPCおよびHPCコードでは性能が向上するMonoCoderという,HPC固有のLMを構築している。
論文 参考訳（メタデータ） (2023-12-20T15:11:06Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳（メタデータ） (2023-09-29T17:40:26Z) - The potential of LLMs for coding with low-resource and domain-specific
programming languages [0.0]
本研究は,オープンソースソフトウェアGreetlのハンスル(Hansl)という,econometricスクリプティング言語に焦点を当てたものである。
この結果から, LLMはグレタブルコードの記述, 理解, 改善, 文書化に有用なツールであることが示唆された。
論文 参考訳（メタデータ） (2023-07-24T17:17:13Z) - CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。
我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。
CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
論文 参考訳（メタデータ） (2023-05-31T05:24:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。