論文の概要: Optimizing Large Language Models for OpenAPI Code Completion

• arxiv url: http://arxiv.org/abs/2405.15729v2
• Date: Mon, 10 Jun 2024 21:58:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 21:43:40.183521
• Title: Optimizing Large Language Models for OpenAPI Code Completion
• Title（参考訳）: OpenAPIコード補完のための大規模言語モデルの最適化
• Authors: Bohdan Petryshyn, Mantas Lukoševičius,
• Abstract要約: 本研究では,GitHub CopilotのOpenAPI補完性能を評価する。 MetaのオープンソースモデルであるCode Llamaを利用したタスク固有の最適化セットを提案する。 微調整されたCode Llamaモデルは、GitHub Copilot上で55.2%のピーク精度向上を達成した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advancements in Large Language Models (LLMs) and their utilization in code generation tasks have significantly reshaped the field of software development. Despite the remarkable efficacy of code completion solutions in mainstream programming languages, their performance lags when applied to less ubiquitous formats such as OpenAPI definitions. This study evaluates the OpenAPI completion performance of GitHub Copilot, a prevalent commercial code completion tool, and proposes a set of task-specific optimizations leveraging Meta's open-source model Code Llama. A semantics-aware OpenAPI completion benchmark proposed in this research is used to perform a series of experiments through which the impact of various prompt-engineering and fine-tuning techniques on the Code Llama model's performance is analyzed. The fine-tuned Code Llama model reaches a peak correctness improvement of 55.2% over GitHub Copilot despite utilizing 25 times fewer parameters than the commercial solution's underlying Codex model. Additionally, this research proposes an enhancement to a widely used code infilling training technique, addressing the issue of underperformance when the model is prompted with context sizes smaller than those used during training. The dataset, the benchmark, and the model fine-tuning code are made publicly available.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩とコード生成タスクの利用は、ソフトウェア開発の分野を大きく変えた。 主流プログラミング言語におけるコード補完ソリューションの顕著な有効性にもかかわらず、その性能はOpenAPI定義のようなユビキタスでないフォーマットに適用した場合に遅れている。 本研究では,商用コード補完ツールであるGitHub CopilotのOpenAPI補完性能を評価し,MetaのオープンソースモデルであるCode Llamaを利用したタスク固有の最適化セットを提案する。 本研究で提案したセマンティックス対応のOpenAPI補完ベンチマークを用いて,コードラマモデルの性能に対する各種のプロンプトエンジニアリングおよび微調整技術の影響を分析する。 微調整されたCode Llamaモデルは、商用ソリューションの基盤であるCodexモデルの25倍のパラメータを使用するにもかかわらず、GitHub Copilot上で55.2%のピーク精度向上を達成した。 さらに,本研究では,訓練中に使用したコードよりもコンテキストサイズが小さいモデルが誘導される場合のアンダーパフォーマンスの問題に対処するため,広く使用されているコード埋込み訓練手法の強化を提案する。 データセット、ベンチマーク、モデルの微調整コードが公開されている。

関連論文リスト

• VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
  VersiCodeは,大規模言語モデルが特定のライブラリのバージョンに対して検証可能なコードを生成する能力を評価するために設計された,最初の包括的なデータセットである。 バージョン別コード補完(VSCC)とバージョン別コード編集(VACE)の2つの専用評価タスクを設計する。 LLMのパフォーマンスをベンチマークするために総合的な実験が行われ、これらのタスクとVersiCodeの難しさを明らかにしている。
  論文  参考訳（メタデータ） (2024-06-11T16:15:06Z)
• Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [69.38352966504401]
  本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。 私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。 我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
  論文  参考訳（メタデータ） (2024-04-22T15:54:53Z)
• SEED: Customize Large Language Models with Sample-Efficient Adaptation for Code Generation [35.88318116340547]
  コード生成のための誤り駆動学習を用いたサンプル効率適応のためのSEEDという新しい適応手法を提案する。 複数のコード生成ベンチマークでPass@1の平均相対改善率は54.7%である。
  論文  参考訳（メタデータ） (2024-02-29T16:09:02Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)
• Enriching Source Code with Contextual Data for Code Completion Models: An Empirical Study [4.438873396405334]
  コンテクストデータを用いてコードを理解しやすくすることで、コード補完作業のための事前学習された言語モデルの性能が向上するかどうかを問う。 コメントについては、マルチラインコメントの存在下でモデルの性能が向上していることが分かる。
  論文  参考訳（メタデータ） (2023-04-24T17:09:14Z)
• Better Language Models of Code through Self-Improvement [18.75015225501755]
  コードのための事前学習言語モデル(PLMC)のための単純なデータ拡張フレームワークを提案する。 本フレームワークは,事前学習と微調整の段階で得られた知識を利用して擬似データを生成し,次のステップのトレーニングデータとして利用する。 その結果,コード関連シーケンス生成タスクにおいて,PLMCの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2023-04-02T10:59:19Z)
• Execution-based Code Generation using Deep Reinforcement Learning [8.085533911328577]
  PPOCoderは、事前訓練されたPLモデルとプロキシポリシー最適化を組み合わせた、コード生成のための新しいフレームワークである。 PPOCoderは、外部コード固有の知識をモデル最適化プロセスにシームレスに統合する。 PPOCoderはタスクに依存しない、モデルに依存しないフレームワークで、さまざまなコード生成タスクやPLで使用できます。
  論文  参考訳（メタデータ） (2023-01-31T18:02:26Z)
• Parameter-Efficient Finetuning of Transformers for Source Code [11.858514933732305]
  事前訓練されたトランスフォーマーは、様々なコード処理タスクで最先端のパフォーマンスを達成するが、デプロイするには大きすぎる可能性がある。 NLPタスクで最初にテストされたアダプタとLoRAという,広く使用されている2つのアプローチを試した。 効率的な微調整アプローチは、コード理解タスクにおいて、標準的な完全微調整よりも同等または高いパフォーマンスを達成することができるが、コード生成タスクでは、完全な微調整を実行する。
  論文  参考訳（メタデータ） (2022-12-12T14:00:57Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。