論文の概要: CodeTF: One-stop Transformer Library for State-of-the-art Code LLM

• arxiv url: http://arxiv.org/abs/2306.00029v1
• Date: Wed, 31 May 2023 05:24:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 20:38:40.706119
• Title: CodeTF: One-stop Transformer Library for State-of-the-art Code LLM
• Title（参考訳）: codetf: 最先端コードllmのためのワンストップトランスフォーマーライブラリ
• Authors: Nghi D. Q. Bui, Hung Le, Yue Wang, Junnan Li, Akhilesh Deepak Gotmare, Steven C. H. Hoi
• Abstract要約: 我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。 我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。 CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
• 参考スコア（独自算出の注目度）: 72.1638273937025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.
• Abstract（参考訳）: コードインテリジェンスは、現代のソフトウェア工学を変える上で重要な役割を果たす。 近年、ディープラーニングベースのモデル、特にTransformerベースの大規模言語モデル(LLM)は、大規模なオープンソースコードデータとプログラミング言語の機能を活用することで、これらのタスクに対処する大きな可能性を実証している。 しかしながら、そのようなモデルの開発とデプロイは、しばしば機械学習とソフトウェア工学の両方の専門知識を必要とし、モデル採用の障壁となる。 本稿では,最先端のCode LLMとコードインテリジェンスのためのオープンソースTransformerベースのライブラリであるCodeTFを提案する。 モジュール設計と拡張可能なフレームワークの原則に従い、さまざまなタイプのモデル、データセット、タスクに対する迅速なアクセスと開発を可能にする統一インターフェースでCodeTFを設計します。 私たちのライブラリは、LLMモデルをトレーニングし、効率的に提供するための標準化されたインターフェースや、言語固有のパーサやコード属性を抽出するユーティリティ機能などのデータ機能を含む、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。 本稿では,設計原則,アーキテクチャ,キーモジュール,コンポーネントについて述べるとともに,関連するライブラリツールとの比較を行う。 最後に、CodeTFが機械学習/生成AIとソフトウェアエンジニアリングのギャップを埋め、開発者、研究者、実践者のための包括的なオープンソースソリューションを提供することを願っています。

関連論文リスト

• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Codellm-Devkit: A Framework for Contextualizing Code LLMs with Program Analysis Insights [9.414198519543564]
  codellm-devkit (以下, CLDK') は,プログラム解析のプロセスを大幅に単純化したオープンソースライブラリである。 CLDKは開発者に対して直感的でユーザフレンドリなインターフェースを提供しています。
  論文  参考訳（メタデータ） (2024-10-16T20:05:59Z)
• AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
  本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。 本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-29T16:57:33Z)
• Granite Code Models: A Family of Open Foundation Models for Code Intelligence [37.946802472358996]
  コードでトレーニングされた大規模言語モデル(LLM)は、ソフトウェア開発プロセスに革命をもたらしています。 LLMは、人間のプログラマの生産性を向上させるために、ソフトウェア開発環境に統合されています。 コード生成タスクのためのデコーダのみのコードモデルであるGraniteシリーズを紹介する。
  論文  参考訳（メタデータ） (2024-05-07T13:50:40Z)
• CodeEditorBench: Evaluating Code Editing Capability of Large Language Models [49.387195629660994]
  コードのための大規模言語モデル(LLM)は急速に進化しており、コード編集が重要な機能として現れている。 コード編集タスクにおけるLLMの性能を厳格に評価するための評価フレームワークであるCodeEditorBenchを紹介する。 5つのソースからさまざまなコーディング課題やシナリオをキュレートし、さまざまなプログラミング言語、複雑性レベル、編集タスクをカバーしています。
  論文  参考訳（メタデータ） (2024-04-04T15:49:49Z)
• S3LLM: Large-Scale Scientific Software Understanding with LLMs using Source, Metadata, and Document [8.518000504951404]
  大規模言語モデル(LLM)は、複雑な科学的コードを理解するための新しい経路を提供する。 S3LLMは、ソースコード、コードメタデータ、要約された情報を対話的で対話的な方法で検証できるように設計されたフレームワークである。 S3LLMは、大規模科学計算ソフトウェアを迅速に理解するために、ローカルにデプロイされたオープンソースLLMを使用する可能性を実証している。
  論文  参考訳（メタデータ） (2024-03-15T17:04:27Z)
• IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
  本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。 まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。 次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
  論文  参考訳（メタデータ） (2024-03-06T17:52:08Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Evaluating In-Context Learning of Libraries for Code Generation [35.57902679044737]
  大規模言語モデル(LLM)は高いレベルのコード生成と理解能力を示す。 近年の研究では、大規模プロプライエタリなLLMがデモから新しいライブラリの使用法を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-11-16T07:37:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。