論文の概要: CodeCompose: A Large-Scale Industrial Deployment of AI-assisted Code
Authoring
- arxiv url: http://arxiv.org/abs/2305.12050v1
- Date: Sat, 20 May 2023 00:45:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 01:04:00.659993
- Title: CodeCompose: A Large-Scale Industrial Deployment of AI-assisted Code
Authoring
- Title（参考訳）: CodeCompose: AI支援コードオーサリングの大規模産業展開
- Authors: Vijayaraghavan Murali, Chandra Maddila, Imad Ahmad, Michael Bolin,
Daniel Cheng, Negar Ghorbani, Renuka Fernandez, Nachiappan Nagappan
- Abstract要約: 我々は、Metaで開発およびデプロイされたAI支援コードオーサリングツールであるCodeComposeを紹介する。
大規模産業環境でそのようなツールをデプロイする際に生じるユーザエクスペリエンスやメトリクスに関して、ユニークな課題について論じる。
- 参考スコア（独自算出の注目度）: 6.4739378833208105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rise of large language models (LLMs) has unlocked various applications of
this technology in software development. In particular, generative LLMs have
been shown to effectively power AI-based code authoring tools that can suggest
entire statements or blocks of code during code authoring. In this paper we
present CodeCompose, an AI-assisted code authoring tool developed and deployed
at Meta internally. CodeCompose is based on the InCoder LLM that merges
generative capabilities with bi-directionality. We have scaled up CodeCompose
to serve tens of thousands of developers at Meta, across 10+ programming
languages and several coding surfaces.
We discuss unique challenges in terms of user experience and metrics that
arise when deploying such tools in large-scale industrial settings. We present
our experience in making design decisions about the model and system
architecture for CodeCompose that addresses these challenges. Finally, we
present metrics from our large-scale deployment of CodeCompose that shows its
impact on Meta's internal code authoring experience over a 15-day time window,
where 4.5 million suggestions were made by CodeCompose. Quantitative metrics
reveal that (i) CodeCompose has an acceptance rate of 22% across several
languages, and (ii) 8% of the code typed by users of CodeCompose is through
accepting code suggestions from CodeCompose. Qualitative feedback indicates an
overwhelming 91.5% positive reception for CodeCompose. In addition to assisting
with code authoring, CodeCompose is also introducing other positive side
effects such as encouraging developers to generate more in-code documentation,
helping them with the discovery of new APIs, etc.
- Abstract（参考訳）: 大規模言語モデル(LLM)の台頭は、ソフトウェア開発におけるこの技術の様々な応用を解き放った。
特に、生成的LLMは、コードオーサリング中にステートメント全体やコードのブロックを提案できるAIベースのコードオーサリングツールを効果的に動かすことが示されている。
本稿では,Metaで開発されたAI支援コードオーサリングツールであるCodeComposeを紹介する。
CodeComposeは、生成能力を双方向にマージするInCoder LLMに基づいている。
CodeComposeをスケールアップしてMetaで数万の開発者と10以上のプログラミング言語といくつかのコーディングサーフェスにサービスを提供しました。
このようなツールを大規模産業環境で展開する際に生じる,ユーザエクスペリエンスとメトリクスという観点から,ユニークな課題について論じる。
これらの課題に対処するCodeComposeのモデルとシステムアーキテクチャについて設計決定を行う経験を提示する。
最後に、私たちは大規模なCodeComposeのデプロイメントのメトリクスを示し、15日間のタイムウィンドウでMetaの内部コードオーサリングエクスペリエンスへの影響を示しています。
定量的な指標は
(i)CodeComposeは、複数の言語で22%の受け入れ率を持ち、
(ii) CodeComposeのユーザが入力したコードの8%は、CodeComposeからのコード提案を受け付けている。
質的フィードバックはコードコンポジションに対して91.5%の肯定的な反応を示す。
コードオーサリングの支援に加えて、CodeComposeでは、開発者がより多くのインコードドキュメンテーションを生成するように促したり、新しいAPIの発見を支援するなど、他の肯定的な副作用も導入している。
関連論文リスト
- Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。
改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文 参考訳（メタデータ） (2024-10-29T12:21:23Z) - Assessing Consensus of Developers' Views on Code Readability [3.798885293742468]
開発者はコードレビューに多くの時間を費やし、コード理解におけるコード可読性の重要性を強調している。
以前の調査では、既存のコード可読性モデルは開発者の考えを表現する上で不正確であった。
同じようなコーディング経験を持つ10人のJava開発者を調査して、コード可読性評価と関連する側面について、彼らのコンセンサスを評価しました。
論文 参考訳（メタデータ） (2024-07-04T09:54:42Z) - DevEval: A Manually-Annotated Code Generation Benchmark Aligned with Real-World Code Repositories [83.5195424237358]
既存のベンチマークは、現実世界のコードリポジトリと不整合である。
我々はDevEvalという新しいベンチマークを提案し、これは3つの進歩がある。
DevEvalは117のリポジトリから1,874のサンプルを持ち、10の人気のあるドメインをカバーする。
論文 参考訳（メタデータ） (2024-05-30T09:03:42Z) - CodeCloak: A Method for Evaluating and Mitigating Code Leakage by LLM Code Assistants [22.342331134131744]
CodeCloakは、コードアシスタントサービスに送信する前にプロンプトを操作する、新しいディープ強化学習エージェントである。
CodeCloakは、次の2つの矛盾した目標を達成することを目指している。
論文 参考訳（メタデータ） (2024-04-13T19:30:58Z) - Iterative Refinement of Project-Level Code Context for Precise Code Generation with Compiler Feedback [29.136378191436396]
我々は,コンパイラフィードバックを用いてLLM生成コードを改善する新しいコード生成手法であるCoCoGenを提案する。
CoCoGenは、まず静的解析を利用して、生成されたコードとプロジェクトのコンテキストのミスマッチを特定する。
その後、コードリポジトリから抽出された情報を使用して、識別されたエラーを反復的に調整し、修正する。
論文 参考訳（メタデータ） (2024-03-25T14:07:27Z) - OpenCodeInterpreter: Integrating Code Generation with Execution and
Refinement [58.034012276819425]
我々はOpenCodeInterpreterを紹介した。OpenCodeInterpreterは、コードを生成、実行、反復的に精製するためのオープンソースのコードシステムのファミリーである。
我々は,HumanEvalやMBPP,EvalPlusの強化バージョンなど,主要なベンチマークを対象としたOpenCodeInterpreterの総合評価を行った。
論文 参考訳（メタデータ） (2024-02-22T16:06:23Z) - CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Benchmarking on HumanEval-X [50.008474888951525]
コード生成に130億のパラメータを持つ多言語モデルであるCodeGeeXを紹介する。
CodeGeeXは、23のプログラミング言語の8500億のトークンで事前訓練されている。
論文 参考訳（メタデータ） (2023-03-30T17:34:01Z) - Tackling Long Code Search with Splitting, Encoding, and Aggregating [67.02322603435628]
長いコード検索のための新しいベースラインSEA(Split, Encode, Aggregate)を提案する。
長いコードをコードブロックに分割し、これらのブロックを埋め込みにエンコードし、それらを集約して包括的な長いコード表現を得る。
エンコーダとしてGraphCodeBERTを使用すると、SEAはコードSearchNetベンチマークでGraphCodeBERTよりも10.1%高い0.785という総合的な平均逆ランキングスコアを達成する。
論文 参考訳（メタデータ） (2022-08-24T02:27:30Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-03-15T08:25:08Z) - IntelliCode Compose: Code Generation Using Transformer [7.623136583706195]
汎用多言語コード補完ツールであるIntelliCode Compose $-$を紹介する。
任意の型のコードトークンのシーケンスを予測でき、構文的に正しいコードの行全体を生成することができる。
IntelliCode ComposeはクラウドベースのWebサービスとしてデプロイされる。
論文 参考訳（メタデータ） (2020-05-16T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。