Fugu-MT 論文翻訳(概要): AI-assisted Code Authoring at Scale: Fine-tuning, deploying, and mixed methods evaluation

論文の概要: AI-assisted Code Authoring at Scale: Fine-tuning, deploying, and mixed methods evaluation

arxiv url: http://arxiv.org/abs/2305.12050v2
Date: Fri, 16 Feb 2024 19:52:45 GMT
ステータス: 処理完了
システム内更新日: 2024-02-21 06:59:44.048519
Title: AI-assisted Code Authoring at Scale: Fine-tuning, deploying, and mixed methods evaluation
Title（参考訳）: AIによる大規模コードオーサリング: 微調整、デプロイ、混合メソッドの評価
Authors: Vijayaraghavan Murali, Chandra Maddila, Imad Ahmad, Michael Bolin, Daniel Cheng, Negar Ghorbani, Renuka Fernandez, Nachiappan Nagappan, Peter C. Rigby
Abstract要約: 我々は、Metaで開発およびデプロイされたAI支援コードオーサリングツールであるCodeComposeを紹介する。 CodeComposeは、生成能力を双方向にマージするInCoder LLMに基づいている。 20Kのソースコードファイルのランダムなサンプルでは、40%から58%の時間で隠れた行を再現することができ、公開データのみに基づいてトレーニングされたモデルよりも1.4xと4.1xが改善された。
参考スコア（独自算出の注目度）: 9.915327592560896
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generative LLMs have been shown to effectively power AI-based code authoring tools that can suggest entire statements or blocks of code during code authoring. In this paper we present CodeCompose, an AI-assisted code authoring tool developed and deployed at Meta internally. CodeCompose is based on the InCoder LLM that merges generative capabilities with bi-directionality. We have scaled up CodeCompose to serve tens of thousands of developers at Meta, across 9 programming languages and several coding surfaces. We present our experience in making design decisions about the model and system architecture for CodeCompose that addresses these challenges. To release a LLM model at this scale, we needed to first ensure that it is sufficiently accurate. In a random sample of 20K source code files, depending on the language, we are able to reproduce hidden lines between 40% and 58% of the time, an improvement of 1.4x and 4.1x over a model trained only on public data. We gradually rolled CodeCompose out to developers. At the time of this writing, 16K developers have used it with 8% of their code coming directly from CodeCompose. To triangulate our numerical findings, we conduct a thematic analysis on the feedback from 70 developers. We find that 91.5% of the feedback is positive, with the most common themes being discovering APIs, dealing with boilerplate code, and accelerating coding. Meta continues to integrate this feedback into CodeCompose.
Abstract（参考訳）: 生成LDMは、コードオーサリング中に、ステートメント全体やコードのブロックを推奨できるAIベースのコードオーサリングツールを効果的に活用することが示されている。本稿では,Metaで開発されたAI支援コードオーサリングツールであるCodeComposeを紹介する。 CodeComposeは、生成能力を双方向にマージするInCoder LLMに基づいている。 CodeComposeをスケールアップしてMetaの何万人もの開発者、9つのプログラミング言語といくつかのコーディングサーフェスに提供しました。これらの課題に対処するCodeComposeのモデルとシステムアーキテクチャについて設計決定を行う経験を提示する。このスケールでLLMモデルをリリースするには、まず十分に正確であることを確かめる必要があった。 20Kのソースコードファイルのランダムなサンプルでは、言語によっては、40%から58%の時間で隠れた行を再現することができ、公開データのみに基づいてトレーニングされたモデルに対して1.4倍と4.1倍の改善が可能である。 CodeComposeを開発者向けに徐々にロールアウトしました。この記事の執筆時点では、16Kの開発者がコードのうち8%をCodeComposeから直接利用している。数値的な結果を三角測量するために,70人の開発者からのフィードバックをテーマとして分析した。フィードバックの91.5%は肯定的であり、最も一般的なテーマはapiの発見、定型コードへの対処、コーディングの高速化である。 MetaはこのフィードバックをCodeComposeに統合し続けている。

関連論文リスト

Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文参考訳（メタデータ） (2024-10-29T12:21:23Z)
Assessing Consensus of Developers' Views on Code Readability [3.798885293742468]
開発者はコードレビューに多くの時間を費やし、コード理解におけるコード可読性の重要性を強調している。以前の調査では、既存のコード可読性モデルは開発者の考えを表現する上で不正確であった。同じようなコーディング経験を持つ10人のJava開発者を調査して、コード可読性評価と関連する側面について、彼らのコンセンサスを評価しました。
論文参考訳（メタデータ） (2024-07-04T09:54:42Z)
DevEval: A Manually-Annotated Code Generation Benchmark Aligned with Real-World Code Repositories [83.5195424237358]
既存のベンチマークは、現実世界のコードリポジトリと不整合である。我々はDevEvalという新しいベンチマークを提案し、これは3つの進歩がある。 DevEvalは117のリポジトリから1,874のサンプルを持ち、10の人気のあるドメインをカバーする。
論文参考訳（メタデータ） (2024-05-30T09:03:42Z)
CodeCloak: A Method for Evaluating and Mitigating Code Leakage by LLM Code Assistants [22.342331134131744]
CodeCloakは、コードアシスタントサービスに送信する前にプロンプトを操作する、新しいディープ強化学習エージェントである。 CodeCloakは、次の2つの矛盾した目標を達成することを目指している。
論文参考訳（メタデータ） (2024-04-13T19:30:58Z)
Iterative Refinement of Project-Level Code Context for Precise Code Generation with Compiler Feedback [29.136378191436396]
我々は,コンパイラフィードバックを用いてLLM生成コードを改善する新しいコード生成手法であるCoCoGenを提案する。 CoCoGenは、まず静的解析を利用して、生成されたコードとプロジェクトのコンテキストのミスマッチを特定する。その後、コードリポジトリから抽出された情報を使用して、識別されたエラーを反復的に調整し、修正する。
論文参考訳（メタデータ） (2024-03-25T14:07:27Z)
OpenCodeInterpreter: Integrating Code Generation with Execution and Refinement [58.034012276819425]
我々はOpenCodeInterpreterを紹介した。OpenCodeInterpreterは、コードを生成、実行、反復的に精製するためのオープンソースのコードシステムのファミリーである。我々は,HumanEvalやMBPP,EvalPlusの強化バージョンなど,主要なベンチマークを対象としたOpenCodeInterpreterの総合評価を行った。
論文参考訳（メタデータ） (2024-02-22T16:06:23Z)
CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Benchmarking on HumanEval-X [50.008474888951525]
コード生成に130億のパラメータを持つ多言語モデルであるCodeGeeXを紹介する。 CodeGeeXは、23のプログラミング言語の8500億のトークンで事前訓練されている。
論文参考訳（メタデータ） (2023-03-30T17:34:01Z)
Tackling Long Code Search with Splitting, Encoding, and Aggregating [67.02322603435628]
長いコード検索のための新しいベースラインSEA(Split, Encode, Aggregate)を提案する。長いコードをコードブロックに分割し、これらのブロックを埋め込みにエンコードし、それらを集約して包括的な長いコード表現を得る。エンコーダとしてGraphCodeBERTを使用すると、SEAはコードSearchNetベンチマークでGraphCodeBERTよりも10.1%高い0.785という総合的な平均逆ランキングスコアを達成する。
論文参考訳（メタデータ） (2022-08-24T02:27:30Z)
ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2022-03-15T08:25:08Z)
IntelliCode Compose: Code Generation Using Transformer [7.623136583706195]
汎用多言語コード補完ツールであるIntelliCode Compose $-$を紹介する。任意の型のコードトークンのシーケンスを予測でき、構文的に正しいコードの行全体を生成することができる。 IntelliCode ComposeはクラウドベースのWebサービスとしてデプロイされる。
論文参考訳（メタデータ） (2020-05-16T15:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。