論文の概要: AI-assisted Code Authoring at Scale: Fine-tuning, deploying, and mixed
methods evaluation
- arxiv url: http://arxiv.org/abs/2305.12050v2
- Date: Fri, 16 Feb 2024 19:52:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 06:59:44.048519
- Title: AI-assisted Code Authoring at Scale: Fine-tuning, deploying, and mixed
methods evaluation
- Title(参考訳): AIによる大規模コードオーサリング: 微調整、デプロイ、混合メソッドの評価
- Authors: Vijayaraghavan Murali, Chandra Maddila, Imad Ahmad, Michael Bolin,
Daniel Cheng, Negar Ghorbani, Renuka Fernandez, Nachiappan Nagappan, Peter C.
Rigby
- Abstract要約: 我々は、Metaで開発およびデプロイされたAI支援コードオーサリングツールであるCodeComposeを紹介する。
CodeComposeは、生成能力を双方向にマージするInCoder LLMに基づいている。
20Kのソースコードファイルのランダムなサンプルでは、40%から58%の時間で隠れた行を再現することができ、公開データのみに基づいてトレーニングされたモデルよりも1.4xと4.1xが改善された。
- 参考スコア(独自算出の注目度): 9.915327592560896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative LLMs have been shown to effectively power AI-based code authoring
tools that can suggest entire statements or blocks of code during code
authoring. In this paper we present CodeCompose, an AI-assisted code authoring
tool developed and deployed at Meta internally. CodeCompose is based on the
InCoder LLM that merges generative capabilities with bi-directionality. We have
scaled up CodeCompose to serve tens of thousands of developers at Meta, across
9 programming languages and several coding surfaces. We present our experience
in making design decisions about the model and system architecture for
CodeCompose that addresses these challenges.
To release a LLM model at this scale, we needed to first ensure that it is
sufficiently accurate. In a random sample of 20K source code files, depending
on the language, we are able to reproduce hidden lines between 40% and 58% of
the time, an improvement of 1.4x and 4.1x over a model trained only on public
data.
We gradually rolled CodeCompose out to developers. At the time of this
writing, 16K developers have used it with 8% of their code coming directly from
CodeCompose.
To triangulate our numerical findings, we conduct a thematic analysis on the
feedback from 70 developers. We find that 91.5% of the feedback is positive,
with the most common themes being discovering APIs, dealing with boilerplate
code, and accelerating coding. Meta continues to integrate this feedback into
CodeCompose.
- Abstract(参考訳): 生成LDMは、コードオーサリング中に、ステートメント全体やコードのブロックを推奨できるAIベースのコードオーサリングツールを効果的に活用することが示されている。
本稿では,Metaで開発されたAI支援コードオーサリングツールであるCodeComposeを紹介する。
CodeComposeは、生成能力を双方向にマージするInCoder LLMに基づいている。
CodeComposeをスケールアップしてMetaの何万人もの開発者、9つのプログラミング言語といくつかのコーディングサーフェスに提供しました。
これらの課題に対処するCodeComposeのモデルとシステムアーキテクチャについて設計決定を行う経験を提示する。
このスケールでLLMモデルをリリースするには、まず十分に正確であることを確かめる必要があった。
20Kのソースコードファイルのランダムなサンプルでは、言語によっては、40%から58%の時間で隠れた行を再現することができ、公開データのみに基づいてトレーニングされたモデルに対して1.4倍と4.1倍の改善が可能である。
CodeComposeを開発者向けに徐々にロールアウトしました。
この記事の執筆時点では、16Kの開発者がコードのうち8%をCodeComposeから直接利用している。
数値的な結果を三角測量するために,70人の開発者からのフィードバックをテーマとして分析した。
フィードバックの91.5%は肯定的であり、最も一般的なテーマはapiの発見、定型コードへの対処、コーディングの高速化である。
MetaはこのフィードバックをCodeComposeに統合し続けている。
関連論文リスト
- OpenCodeInterpreter: Integrating Code Generation with Execution and
Refinement [58.034012276819425]
我々はOpenCodeInterpreterを紹介した。OpenCodeInterpreterは、コードを生成、実行、反復的に精製するためのオープンソースのコードシステムのファミリーである。
我々は,HumanEvalやMBPP,EvalPlusの強化バージョンなど,主要なベンチマークを対象としたOpenCodeInterpreterの総合評価を行った。
論文 参考訳(メタデータ) (2024-02-22T16:06:23Z) - Can ChatGPT replace StackOverflow? A Study on Robustness and Reliability
of Large Language Model Code Generation [8.575560293086289]
大規模言語モデル(LLM)は、自然言語を理解し、プログラミングコードを生成する素晴らしい能力を示している。
生成されたコードにおけるAPIの誤用は、リソースリークやプログラムクラッシュといった深刻な問題を引き起こす可能性がある。
論文 参考訳(メタデータ) (2023-08-20T18:36:28Z) - CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual
Evaluations on HumanEval-X [45.81982082596839]
コード生成に130億のパラメータを持つ多言語モデルであるCodeGeeXを紹介する。
CodeGeeXは、23のプログラミング言語の8500億のトークンで事前訓練されている。
論文 参考訳(メタデータ) (2023-03-30T17:34:01Z) - CodeBERTScore: Evaluating Code Generation with Pretrained Models of Code [75.08995072899594]
コード生成のための評価指標であるCodeBERTScoreを提案する。
CodeBERTScoreは生成されたコードの前に入力された自然言語をエンコードする。
CodeBERTScoreは、既存のすべての指標よりも、人間の嗜好と機能的正しさとの相関性が高いことがわかった。
論文 参考訳(メタデータ) (2023-02-10T22:12:05Z) - Split, Encode and Aggregate for Long Code Search [70.38415400383693]
提案するSEA (Split, Encode and Aggregate for Long Code Search) は,長いコードをコードブロックに分割し,それらのブロックを埋め込みにエンコードし,それらを集約して包括的なロングコード表現を得る。
SEAでは、Transformerベースの事前トレーニングモデルを直接使用して、内部構造や再トレーニングを変更することなく、長いコードをモデル化することができます。
論文 参考訳(メタデータ) (2022-08-24T02:27:30Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-03-15T08:25:08Z) - CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。
ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。
バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
論文 参考訳(メタデータ) (2022-01-26T10:54:30Z) - DeSkew-LSH based Code-to-Code Recommendation Engine [3.7011129410662558]
ソースコード上の機械学習のための新しいコード・ツー・コードレコメンデーションエンジンであるemphSenatusを紹介する。
SenatusのコアとなるemphDe-Skew LSHは、ローカリティに敏感なハッシュアルゴリズムで、高速(サブ線形時間)検索のためにデータをインデックスする。
コード・ツー・コード・レコメンデーションのタスクにおいて、Senatusはパフォーマンスを6.7%向上し、クエリ時間16xはFacebook Aromaよりも高速であることを示す。
論文 参考訳(メタデータ) (2021-11-05T16:56:28Z) - IntelliCode Compose: Code Generation Using Transformer [7.623136583706195]
汎用多言語コード補完ツールであるIntelliCode Compose $-$を紹介する。
任意の型のコードトークンのシーケンスを予測でき、構文的に正しいコードの行全体を生成することができる。
IntelliCode ComposeはクラウドベースのWebサービスとしてデプロイされる。
論文 参考訳(メタデータ) (2020-05-16T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。