論文の概要: Curriculum Learning for Small Code Language Models

• arxiv url: http://arxiv.org/abs/2407.10194v1
• Date: Sun, 14 Jul 2024 13:32:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 19:09:07.147684
• Title: Curriculum Learning for Small Code Language Models
• Title（参考訳）: 小型コード言語モデルのためのカリキュラム学習
• Authors: Marwa Naïr, Kamel Yamani, Lynda Said Lhadj, Riyadh Baghdadi,
• Abstract要約: 本稿では,プログラム言語モデルの性能向上におけるカリキュラム学習の可能性について考察する。 十分に設計されたカリキュラム学習手法は,デコーダのみの小さな言語モデルの精度を大幅に向上させることを示した。
• 参考スコア（独自算出の注目度）: 0.09999629695552192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code language models have emerged as useful tools for various programming tasks, yet they often struggle when it comes to complex ones. In this paper, we explore the potential of curriculum learning in enhancing the performance of these models. While prior research has suggested that curriculum learning does not necessarily help in improving the performance of language models, our results surprisingly show that this may not be the case for code language models. We demonstrate that a well-designed curriculum learning approach significantly improves the accuracy of small decoder-only code language models on the task of code execution, while its effect on code completion is less significant. To explore the potential of curriculum learning, we train multiple GPT models with 1 million parameters each to predict the next token and evaluate them on code completion and execution tasks. Our contributions include proposing a novel code difficulty assessment metric by combining software code measures, investigating the effectiveness of Curriculum Learning for code language models, and introducing a Novel Curriculum Learning schedule that enhances the performance of small decoder-only language models in code execution tasks. The results of this paper open the door for more research on the use of curriculum learning for code language models.
• Abstract（参考訳）: コード言語モデルは、様々なプログラミングタスクに有用なツールとして現れてきたが、複雑なタスクに関しては、しばしば苦労している。 本稿では,これらのモデルの性能向上のためのカリキュラム学習の可能性について検討する。 これまでの研究では、カリキュラム学習が言語モデルの性能向上に必ずしも役立っているわけではないことが示唆されているが、我々の結果は、コード言語モデルには当てはまらないかもしれないことを驚くほど示している。 プログラム実行のタスクにおいて、十分に設計されたカリキュラム学習アプローチによって、小さなデコーダのみのコード言語モデルの精度が大幅に向上するが、コード補完への影響はそれほど大きくないことを示す。 カリキュラム学習の可能性を探るため、100万のパラメータを持つ複数のGPTモデルをトレーニングし、次のトークンを予測し、コード補完と実行タスクで評価する。 コントリビューションには、ソフトウェアコード測度を組み合わせることで、新しいコードの難易度評価尺度を提案し、コード言語モデルに対するカリキュラム学習の有効性を調査し、コード実行タスクにおいて、小さなデコーダのみの言語モデルの性能を高める新しいカリキュラム学習スケジュールを導入しました。 本研究の結果は,プログラム言語モデルにおけるカリキュラム学習の活用に関するさらなる研究の扉を開くものである。

関連論文リスト

• Do Machines and Humans Focus on Similar Code? Exploring Explainability of Large Language Models in Code Summarization [10.201463330812167]
  人間の理解のレンズによるコード要約における言語モデルの説明可能性に関する調査の結果を報告する。 我々は、現在最先端のモデル非依存、ブラックボックス、摂動に基づくアプローチであるSHAPを用いて、どのコードトークンが要約の生成に影響を与えるかを特定する。 本研究は、SHAPに基づくモデル焦点測定と人間の焦点を合わせることができないことを明らかにする。
  論文  参考訳（メタデータ） (2024-02-22T00:01:02Z)
• Code Representation Learning At Scale [75.04686476303436]
  2段階の事前学習スキームを用いて,大量のコードデータを用いてコード表現学習を行う。 まず、マスキング言語モデリングにおけるランダム性と、プログラミング言語の構造的側面の両方を活用して、エンコーダを訓練する。 そして、教師なしの方法で強陰性かつ強正に構築された対照的な学習を通して表現を強化する。
  論文  参考訳（メタデータ） (2024-02-02T22:19:15Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Active Code Learning: Benchmarking Sample-Efficient Training of Code Models [35.54965391159943]
  ソフトウェアエンジニアリング(ML4Code)では、人的労力の少ないコードのモデルを効率的にトレーニングすることが、緊急の問題となっている。 アクティブな学習は、開発者が望ましいパフォーマンスでモデルを生成しながら、少ないデータでモデルをトレーニングすることを可能にするようなテクニックです。 本稿は、この重要な問題であるアクティブコード学習を研究するための最初のベンチマークを構築します。
  論文  参考訳（メタデータ） (2023-06-02T03:26:11Z)
• Code Execution with Pre-trained Language Models [88.04688617516827]
  コードインテリジェンスのトレーニング済みモデルのほとんどは実行トレースを無視しており、ソースコードと構文構造のみに依存している。 我々は,大規模かつ現実的なPythonデータセットとコード実行タスクを作成するために,突然変異に基づくデータ拡張手法を開発した。 次に、コード実行事前学習とカリキュラム学習を活用して意味理解を強化するトランスフォーマーモデルであるCodeExecutorを提案する。
  論文  参考訳（メタデータ） (2023-05-08T10:00:05Z)
• Enriching Source Code with Contextual Data for Code Completion Models: An Empirical Study [4.438873396405334]
  コンテクストデータを用いてコードを理解しやすくすることで、コード補完作業のための事前学習された言語モデルの性能が向上するかどうかを問う。 コメントについては、マルチラインコメントの存在下でモデルの性能が向上していることが分かる。
  論文  参考訳（メタデータ） (2023-04-24T17:09:14Z)
• What Makes Good In-context Demonstrations for Code Intelligence Tasks with LLMs? [60.668318972782295]
  大規模言語モデルは、文脈内学習(ICL)の能力を示している。 ICLはタスク命令といくつかの例をデモとして使用し、次に予測を行うために言語モデルにデモを入力します。 コードに関連するタスクに対して,優れたデモを構築する方法について,体系的に検討することが重要である。
  論文  参考訳（メタデータ） (2023-04-15T15:13:58Z)
• Automatic Generation of Programming Exercises and Code Explanations with Large Language Models [4.947560475228859]
  OpenAI Codexは、GPT-3ファミリーの最近の大規模言語モデルで、コードを自然言語に翻訳する。 プログラミング演習の2つの段階において,Codexの自然言語生成能力について検討する。 自動生成されるコンテンツの大部分は、新しいものでも、理にかなったものでも、多くの場合、そのまま使えるものなのです。
  論文  参考訳（メタデータ） (2022-06-03T11:00:43Z)
• ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
  本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。 我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:25:08Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。