Fugu-MT 論文翻訳(概要): Curriculum Learning for Small Code Language Models

論文の概要: Curriculum Learning for Small Code Language Models

arxiv url: http://arxiv.org/abs/2407.10194v1
Date: Sun, 14 Jul 2024 13:32:24 GMT
ステータス: 処理完了
システム内更新日: 2024-07-16 19:09:07.147684
Title: Curriculum Learning for Small Code Language Models
Title（参考訳）: 小型コード言語モデルのためのカリキュラム学習
Authors: Marwa Naïr, Kamel Yamani, Lynda Said Lhadj, Riyadh Baghdadi,
Abstract要約: 本稿では,プログラム言語モデルの性能向上におけるカリキュラム学習の可能性について考察する。十分に設計されたカリキュラム学習手法は,デコーダのみの小さな言語モデルの精度を大幅に向上させることを示した。
参考スコア（独自算出の注目度）: 0.09999629695552192
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Code language models have emerged as useful tools for various programming tasks, yet they often struggle when it comes to complex ones. In this paper, we explore the potential of curriculum learning in enhancing the performance of these models. While prior research has suggested that curriculum learning does not necessarily help in improving the performance of language models, our results surprisingly show that this may not be the case for code language models. We demonstrate that a well-designed curriculum learning approach significantly improves the accuracy of small decoder-only code language models on the task of code execution, while its effect on code completion is less significant. To explore the potential of curriculum learning, we train multiple GPT models with 1 million parameters each to predict the next token and evaluate them on code completion and execution tasks. Our contributions include proposing a novel code difficulty assessment metric by combining software code measures, investigating the effectiveness of Curriculum Learning for code language models, and introducing a Novel Curriculum Learning schedule that enhances the performance of small decoder-only language models in code execution tasks. The results of this paper open the door for more research on the use of curriculum learning for code language models.
Abstract（参考訳）: コード言語モデルは、様々なプログラミングタスクに有用なツールとして現れてきたが、複雑なタスクに関しては、しばしば苦労している。本稿では,これらのモデルの性能向上のためのカリキュラム学習の可能性について検討する。これまでの研究では、カリキュラム学習が言語モデルの性能向上に必ずしも役立っているわけではないことが示唆されているが、我々の結果は、コード言語モデルには当てはまらないかもしれないことを驚くほど示している。プログラム実行のタスクにおいて、十分に設計されたカリキュラム学習アプローチによって、小さなデコーダのみのコード言語モデルの精度が大幅に向上するが、コード補完への影響はそれほど大きくないことを示す。カリキュラム学習の可能性を探るため、100万のパラメータを持つ複数のGPTモデルをトレーニングし、次のトークンを予測し、コード補完と実行タスクで評価する。コントリビューションには、ソフトウェアコード測度を組み合わせることで、新しいコードの難易度評価尺度を提案し、コード言語モデルに対するカリキュラム学習の有効性を調査し、コード実行タスクにおいて、小さなデコーダのみの言語モデルの性能を高める新しいカリキュラム学習スケジュールを導入しました。本研究の結果は,プログラム言語モデルにおけるカリキュラム学習の活用に関するさらなる研究の扉を開くものである。

関連論文リスト

Should Code Models Learn Pedagogically? A Preliminary Evaluation of Curriculum Learning for Real-World Software Engineering Tasks [2.0072624123275533]
近年の研究では、合成コードの難易度に基づく漸進的な学習により、カリキュラム学習がコード関連タスクのパフォーマンスを向上させることが示されている。本稿では,コードクローン検出とコード要約のタスクを通じて,事前学習されたコードモデル(CodeT5)がCLの下でどのように学習されるかを検討する。 CodeXGLUEベンチマークに関する実証研究は、これまでの研究と対照的な結果を示し、そのモデルでは破滅的な忘れ込みとショートカット学習の兆候が見られた。
論文参考訳（メタデータ） (2025-02-06T06:33:08Z)
Large Language Models in Computer Science Education: A Systematic Literature Review [7.240148550817106]
大規模言語モデル(LLM)は、幅広い自然言語処理タスク(NLP)において、ますます良くなっている。最近、これらのモデルは、自然言語(NL)とプログラミング言語(PL)のギャップを埋めて、その能力をコーディングタスクに拡張した。
論文参考訳（メタデータ） (2024-10-21T17:49:50Z)
Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
論文参考訳（メタデータ） (2024-07-17T11:35:00Z)
CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
論文参考訳（メタデータ） (2024-05-03T02:48:55Z)
Do Machines and Humans Focus on Similar Code? Exploring Explainability of Large Language Models in Code Summarization [10.201463330812167]
人間の理解のレンズによるコード要約における言語モデルの説明可能性に関する調査の結果を報告する。我々は、現在最先端のモデル非依存、ブラックボックス、摂動に基づくアプローチであるSHAPを用いて、どのコードトークンが要約の生成に影響を与えるかを特定する。本研究は、SHAPに基づくモデル焦点測定と人間の焦点を合わせることができないことを明らかにする。
論文参考訳（メタデータ） (2024-02-22T00:01:02Z)
Code Representation Learning At Scale [75.04686476303436]
2段階の事前学習スキームを用いて,大量のコードデータを用いてコード表現学習を行う。まず、マスキング言語モデリングにおけるランダム性と、プログラミング言語の構造的側面の両方を活用して、エンコーダを訓練する。そして、教師なしの方法で強陰性かつ強正に構築された対照的な学習を通して表現を強化する。
論文参考訳（メタデータ） (2024-02-02T22:19:15Z)
L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文参考訳（メタデータ） (2023-09-29T17:57:00Z)
Active Code Learning: Benchmarking Sample-Efficient Training of Code Models [35.54965391159943]
ソフトウェアエンジニアリング(ML4Code)では、人的労力の少ないコードのモデルを効率的にトレーニングすることが、緊急の問題となっている。アクティブな学習は、開発者が望ましいパフォーマンスでモデルを生成しながら、少ないデータでモデルをトレーニングすることを可能にするようなテクニックです。本稿は、この重要な問題であるアクティブコード学習を研究するための最初のベンチマークを構築します。
論文参考訳（メタデータ） (2023-06-02T03:26:11Z)
Code Execution with Pre-trained Language Models [88.04688617516827]
コードインテリジェンスのトレーニング済みモデルのほとんどは実行トレースを無視しており、ソースコードと構文構造のみに依存している。我々は,大規模かつ現実的なPythonデータセットとコード実行タスクを作成するために,突然変異に基づくデータ拡張手法を開発した。次に、コード実行事前学習とカリキュラム学習を活用して意味理解を強化するトランスフォーマーモデルであるCodeExecutorを提案する。
論文参考訳（メタデータ） (2023-05-08T10:00:05Z)
What Makes Good In-context Demonstrations for Code Intelligence Tasks with LLMs? [60.668318972782295]
大規模言語モデルは、文脈内学習(ICL)の能力を示している。 ICLはタスク命令といくつかの例をデモとして使用し、次に予測を行うために言語モデルにデモを入力します。コードに関連するタスクに対して,優れたデモを構築する方法について,体系的に検討することが重要である。
論文参考訳（メタデータ） (2023-04-15T15:13:58Z)
Automatic Generation of Programming Exercises and Code Explanations with Large Language Models [4.947560475228859]
OpenAI Codexは、GPT-3ファミリーの最近の大規模言語モデルで、コードを自然言語に翻訳する。プログラミング演習の2つの段階において,Codexの自然言語生成能力について検討する。自動生成されるコンテンツの大部分は、新しいものでも、理にかなったものでも、多くの場合、そのまま使えるものなのです。
論文参考訳（メタデータ） (2022-06-03T11:00:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。