論文の概要: CodeCompose: A Large-Scale Industrial Deployment of AI-assisted Code
Authoring
- arxiv url: http://arxiv.org/abs/2305.12050v1
- Date: Sat, 20 May 2023 00:45:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 01:04:00.659993
- Title: CodeCompose: A Large-Scale Industrial Deployment of AI-assisted Code
Authoring
- Title(参考訳): CodeCompose: AI支援コードオーサリングの大規模産業展開
- Authors: Vijayaraghavan Murali, Chandra Maddila, Imad Ahmad, Michael Bolin,
Daniel Cheng, Negar Ghorbani, Renuka Fernandez, Nachiappan Nagappan
- Abstract要約: 我々は、Metaで開発およびデプロイされたAI支援コードオーサリングツールであるCodeComposeを紹介する。
大規模産業環境でそのようなツールをデプロイする際に生じるユーザエクスペリエンスやメトリクスに関して、ユニークな課題について論じる。
- 参考スコア(独自算出の注目度): 6.4739378833208105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rise of large language models (LLMs) has unlocked various applications of
this technology in software development. In particular, generative LLMs have
been shown to effectively power AI-based code authoring tools that can suggest
entire statements or blocks of code during code authoring. In this paper we
present CodeCompose, an AI-assisted code authoring tool developed and deployed
at Meta internally. CodeCompose is based on the InCoder LLM that merges
generative capabilities with bi-directionality. We have scaled up CodeCompose
to serve tens of thousands of developers at Meta, across 10+ programming
languages and several coding surfaces.
We discuss unique challenges in terms of user experience and metrics that
arise when deploying such tools in large-scale industrial settings. We present
our experience in making design decisions about the model and system
architecture for CodeCompose that addresses these challenges. Finally, we
present metrics from our large-scale deployment of CodeCompose that shows its
impact on Meta's internal code authoring experience over a 15-day time window,
where 4.5 million suggestions were made by CodeCompose. Quantitative metrics
reveal that (i) CodeCompose has an acceptance rate of 22% across several
languages, and (ii) 8% of the code typed by users of CodeCompose is through
accepting code suggestions from CodeCompose. Qualitative feedback indicates an
overwhelming 91.5% positive reception for CodeCompose. In addition to assisting
with code authoring, CodeCompose is also introducing other positive side
effects such as encouraging developers to generate more in-code documentation,
helping them with the discovery of new APIs, etc.
- Abstract(参考訳): 大規模言語モデル(LLM)の台頭は、ソフトウェア開発におけるこの技術の様々な応用を解き放った。
特に、生成的LLMは、コードオーサリング中にステートメント全体やコードのブロックを提案できるAIベースのコードオーサリングツールを効果的に動かすことが示されている。
本稿では,Metaで開発されたAI支援コードオーサリングツールであるCodeComposeを紹介する。
CodeComposeは、生成能力を双方向にマージするInCoder LLMに基づいている。
CodeComposeをスケールアップしてMetaで数万の開発者と10以上のプログラミング言語といくつかのコーディングサーフェスにサービスを提供しました。
このようなツールを大規模産業環境で展開する際に生じる,ユーザエクスペリエンスとメトリクスという観点から,ユニークな課題について論じる。
これらの課題に対処するCodeComposeのモデルとシステムアーキテクチャについて設計決定を行う経験を提示する。
最後に、私たちは大規模なCodeComposeのデプロイメントのメトリクスを示し、15日間のタイムウィンドウでMetaの内部コードオーサリングエクスペリエンスへの影響を示しています。
定量的な指標は
(i)CodeComposeは、複数の言語で22%の受け入れ率を持ち、
(ii) CodeComposeのユーザが入力したコードの8%は、CodeComposeからのコード提案を受け付けている。
質的フィードバックはコードコンポジションに対して91.5%の肯定的な反応を示す。
コードオーサリングの支援に加えて、CodeComposeでは、開発者がより多くのインコードドキュメンテーションを生成するように促したり、新しいAPIの発見を支援するなど、他の肯定的な副作用も導入している。
関連論文リスト
- OpenCodeInterpreter: Integrating Code Generation with Execution and
Refinement [58.034012276819425]
我々はOpenCodeInterpreterを紹介した。OpenCodeInterpreterは、コードを生成、実行、反復的に精製するためのオープンソースのコードシステムのファミリーである。
我々は,HumanEvalやMBPP,EvalPlusの強化バージョンなど,主要なベンチマークを対象としたOpenCodeInterpreterの総合評価を行った。
論文 参考訳(メタデータ) (2024-02-22T16:06:23Z) - Can ChatGPT replace StackOverflow? A Study on Robustness and Reliability
of Large Language Model Code Generation [8.575560293086289]
大規模言語モデル(LLM)は、自然言語を理解し、プログラミングコードを生成する素晴らしい能力を示している。
生成されたコードにおけるAPIの誤用は、リソースリークやプログラムクラッシュといった深刻な問題を引き起こす可能性がある。
論文 参考訳(メタデータ) (2023-08-20T18:36:28Z) - CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual
Evaluations on HumanEval-X [45.81982082596839]
コード生成に130億のパラメータを持つ多言語モデルであるCodeGeeXを紹介する。
CodeGeeXは、23のプログラミング言語の8500億のトークンで事前訓練されている。
論文 参考訳(メタデータ) (2023-03-30T17:34:01Z) - CodeBERTScore: Evaluating Code Generation with Pretrained Models of Code [75.08995072899594]
コード生成のための評価指標であるCodeBERTScoreを提案する。
CodeBERTScoreは生成されたコードの前に入力された自然言語をエンコードする。
CodeBERTScoreは、既存のすべての指標よりも、人間の嗜好と機能的正しさとの相関性が高いことがわかった。
論文 参考訳(メタデータ) (2023-02-10T22:12:05Z) - Split, Encode and Aggregate for Long Code Search [70.38415400383693]
提案するSEA (Split, Encode and Aggregate for Long Code Search) は,長いコードをコードブロックに分割し,それらのブロックを埋め込みにエンコードし,それらを集約して包括的なロングコード表現を得る。
SEAでは、Transformerベースの事前トレーニングモデルを直接使用して、内部構造や再トレーニングを変更することなく、長いコードをモデル化することができます。
論文 参考訳(メタデータ) (2022-08-24T02:27:30Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-03-15T08:25:08Z) - CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。
ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。
バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
論文 参考訳(メタデータ) (2022-01-26T10:54:30Z) - DeSkew-LSH based Code-to-Code Recommendation Engine [3.7011129410662558]
ソースコード上の機械学習のための新しいコード・ツー・コードレコメンデーションエンジンであるemphSenatusを紹介する。
SenatusのコアとなるemphDe-Skew LSHは、ローカリティに敏感なハッシュアルゴリズムで、高速(サブ線形時間)検索のためにデータをインデックスする。
コード・ツー・コード・レコメンデーションのタスクにおいて、Senatusはパフォーマンスを6.7%向上し、クエリ時間16xはFacebook Aromaよりも高速であることを示す。
論文 参考訳(メタデータ) (2021-11-05T16:56:28Z) - IntelliCode Compose: Code Generation Using Transformer [7.623136583706195]
汎用多言語コード補完ツールであるIntelliCode Compose $-$を紹介する。
任意の型のコードトークンのシーケンスを予測でき、構文的に正しいコードの行全体を生成することができる。
IntelliCode ComposeはクラウドベースのWebサービスとしてデプロイされる。
論文 参考訳(メタデータ) (2020-05-16T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。