論文の概要: CodeT5+: Open Code Large Language Models for Code Understanding and
Generation
- arxiv url: http://arxiv.org/abs/2305.07922v2
- Date: Sat, 20 May 2023 07:27:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 02:32:22.935910
- Title: CodeT5+: Open Code Large Language Models for Code Understanding and
Generation
- Title（参考訳）: CodeT5+: コード理解と生成のためのオープンコード大言語モデル
- Authors: Yue Wang, Hung Le, Akhilesh Deepak Gotmare, Nghi D.Q. Bui, Junnan Li,
Steven C.H. Hoi
- Abstract要約: 大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。
CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。
我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
- 参考スコア（独自算出の注目度）: 72.1638273937025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) pretrained on vast source code have achieved
prominent progress in code intelligence. However, existing code LLMs have two
main limitations in terms of architecture and pretraining tasks. First, they
often adopt a specific architecture (encoder-only or decoder-only) or rely on a
unified encoder-decoder network for different downstream tasks. The former
paradigm is limited by inflexibility in applications while in the latter, the
model is treated as a single system for all tasks, leading to suboptimal
performance on a subset of tasks. Secondly, they often employ a limited set of
pretraining objectives which might not be relevant to some downstream tasks and
hence result in substantial performance degrade. To address these limitations,
we propose ``CodeT5+'', a family of encoder-decoder LLMs for code in which
component modules can be flexibly combined to suit a wide range of downstream
code tasks. Such flexibility is enabled by our proposed mixture of pretraining
objectives to mitigate the pretrain-finetune discrepancy. These objectives
cover span denoising, contrastive learning, text-code matching, and causal LM
pretraining tasks, on both unimodal and bimodal multilingual code corpora.
Furthermore, we propose to initialize CodeT5+ with frozen off-the-shelf LLMs
without training from scratch to efficiently scale up our models, and explore
instruction-tuning to align with natural language instructions. We extensively
evaluate CodeT5+ on over 20 code-related benchmarks in different settings,
including zero-shot, finetuning, and instruction-tuning. We observe
state-of-the-art (SoTA) model performance on various code-related tasks, such
as code generation and completion, math programming, and text-to-code retrieval
tasks. Particularly, our instruction-tuned CodeT5+ 16B achieves new SoTA
results on HumanEval code generation task against other open code LLMs.
- Abstract（参考訳）: 大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。
しかし、既存のLLMにはアーキテクチャと事前訓練タスクの2つの主な制限がある。
まず、特定のアーキテクチャ(エンコーダのみまたはデコーダのみ)を採用するか、あるいは異なるダウンストリームタスクに統一されたエンコーダデコーダネットワークに依存する。
前者のパラダイムはアプリケーションの柔軟性によって制限されるが、後者では、モデルが全てのタスクに対して単一のシステムとして扱われ、タスクのサブセット上での最適なパフォーマンスをもたらす。
第2に,ダウンストリームタスクとは無関係な,限定的な事前トレーニング目標を採用して,結果としてパフォーマンスが大幅に低下することが多い。
これらの制限に対処するために,コンポーネントモジュールを柔軟に組み合わせて幅広いダウンストリームコードタスクに適合させることができるコード用エンコーダデコーダLLMのファミリーである ``CodeT5+' を提案する。
このような柔軟性は,プレトレイン-ファイントゥーンの相違を緩和するための事前学習目的の混合によって実現される。
これらの目的は、単調かつバイモーダルな多言語コードコーパスにおいて、認知、コントラスト学習、テキストコードマッチング、因果的LM事前訓練タスクをカバーする。
さらに,スクラッチからトレーニングを受けることなく既製のLLMでCodeT5+を初期化してモデルを効率的にスケールアップし,自然言語命令と整合するインストラクションチューニングについて検討する。
我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
我々は,コード生成や完了,数学プログラミング,テキスト・ツー・コード検索タスクなど,コード関連タスクにおける最先端(SoTA)モデルのパフォーマンスを観察する。
特に,命令調整した CodeT5+ 16B では,HumanEval コード生成タスクにおいて,他のオープンコード LLM に対して新たな SoTA 結果が得られる。
関連論文リスト
- OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。
オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。
トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
論文 参考訳（メタデータ） (2024-11-07T17:47:25Z) - Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。
結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
論文 参考訳（メタデータ） (2024-11-06T10:28:46Z) - DolphCoder: Echo-Locating Code Large Language Models with Diverse and
Multi-Objective Instruction Tuning [36.78560777629329]
コード生成を自己評価する多種多様な命令モデル(DolphCoder)を導入する。
多様な命令ターゲットを学習し、コード生成能力を高めるためにコード評価の目的を組み合わせる。
本モデルは,HumanEvalおよびMBPPベンチマークにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2024-02-14T12:34:58Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-02-02T13:14:31Z) - WaveCoder: Widespread And Versatile Enhancement For Code Large Language Models By Instruction Tuning [22.44573249705913]
We present WaveCoder, a series of Code LLMs training with Widespread And Versatile Enhanced instruction data。
複雑なコード関連タスクに対処するために,オープンソースのコードデータセットから多種多様な高品質の命令データを安定して生成する手法を提案する。
実験により、WaveCoderモデルは、異なるコード関連タスク間の一般化能力において、他のオープンソースモデルよりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2023-12-20T09:02:29Z) - Exploring Continual Learning for Code Generation Models [80.78036093054855]
継続的学習(CL)は、コードドメインの中でまだ過小評価されていない重要な側面である。
コード生成,翻訳,要約,改良など,幅広いタスクをカバーするCodeTask-CLというベンチマークを導入する。
即時選択機構の不安定な訓練により,プロンプトプール (PP) などの有効手法が破滅的な忘れ込みに悩まされることが判明した。
論文 参考訳（メタデータ） (2023-07-05T16:58:39Z) - UniXcoder: Unified Cross-Modal Pre-training for Code Representation [65.6846553962117]
プログラミング言語のためのクロスモーダル事前学習モデルUniXcoderを提案する。
木の構造情報を全て保持するシーケンス構造でASTを変換する1対1のマッピング手法を提案する。
我々は,UniXcoderを9つのデータセット上で5つのコード関連タスクで評価する。
論文 参考訳（メタデータ） (2022-03-08T04:48:07Z) - CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for
Code Understanding and Generation [36.47905744758698]
我々は、開発者が指定した識別子から伝達されるコードセマンティクスをよりよく活用する、事前訓練されたエンコーダ-デコーダ変換モデルであるCodeT5を提案する。
我々のモデルは、コード理解と生成タスクの両方をシームレスにサポートし、マルチタスク学習を可能にする統一的なフレームワークを採用している。
論文 参考訳（メタデータ） (2021-09-02T12:21:06Z) - CLSEBERT: Contrastive Learning for Syntax Enhanced Code Pre-Trained
Model [23.947178895479464]
CLSEBERTは,構文強化符号事前学習モデルのための構築学習フレームワークである。
事前学習段階では、抽象構文木(AST)に含まれるコード構文と階層について検討する。
ひとつは抽象構文木内のノード間のエッジを予測することであり、もう一つはコードトークンの型を予測することである。
論文 参考訳（メタデータ） (2021-08-10T10:08:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。