論文の概要: Don't Complete It! Preventing Unhelpful Code Completion for Productive and Sustainable Neural Code Completion Systems

• arxiv url: http://arxiv.org/abs/2209.05948v3
• Date: Fri, 9 Aug 2024 04:10:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 21:11:46.114300
• Title: Don't Complete It! Preventing Unhelpful Code Completion for Productive and Sustainable Neural Code Completion Systems
• Title（参考訳）: 完成するな! 生産的で持続可能なニューラルコード補完システムのための不必要なコード補完の防止
• Authors: Zhensu Sun, Xiaoning Du, Fu Song, Shangwen Wang, Mingze Ni, Li Li, David Lo,
• Abstract要約: 現在、大きな事前訓練された言語モデルは、ニューラルコード補完システムに広く適用されている。 Github Copilotの表示されたコード補完の約70%は、開発者に受け入れられていない。 本稿では,コード補完性能を予見することで,低リターンプロンプトを停止させる早期リジェクション機構を提案する。
• 参考スコア（独自算出の注目度）: 16.03416381009787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Currently, large pre-trained language models are widely applied in neural code completion systems. Though large code models significantly outperform their smaller counterparts, around 70\% of displayed code completions from Github Copilot are not accepted by developers. Being reviewed but not accepted, their help to developer productivity is considerably limited and may conversely aggravate the workload of developers, as the code completions are automatically and actively generated in state-of-the-art code completion systems as developers type out once the service is enabled. Even worse, considering the high cost of the large code models, it is a huge waste of computing resources and energy, which severely goes against the sustainable development principle of AI technologies. However, such waste has never been realized, not to mention effectively addressed, in the research community for neural code completion. Hence, preventing such unhelpful code completions from happening in a cost-friendly way is of urgent need. To fill this significant gap, we first investigate the prompts of unhelpful code completions, called "low-return prompts". We empirically identify four observable patterns in low-return prompts, each lacking necessary information, making it difficult to address through enhancements to the model's accuracy alone. This demonstrates the feasibility of identifying such low-return prompts based on the prompts themselves. Motivated by this finding, we propose an early-rejection mechanism to turn down low-return prompts by foretelling the code completion qualities. The prompts that are estimated to receive unhelpful code completions will not be sent to the model. Furthermore, we investigated five types of estimators to demonstrate the feasibility of the mechanism. The experimental results show that the estimator can reject 20% of code completion requests with a 97.4% Precision.
• Abstract（参考訳）: 現在、大きな事前訓練された言語モデルは、ニューラルコード補完システムに広く適用されている。 大きなコードモデルは、より小さなコードよりも大幅に優れているが、Github Copilotの表示されたコード補完の約70%は、開発者に受け入れられていない。 レビューされているが受け入れられていないため、開発者生産性への支援はかなり制限されており、サービスが有効になったら開発者が入力アウトすると、コード補完が自動的に、最先端のコード補完システムでアクティブに生成されるため、逆に開発者の作業量が増加する可能性がある。 さらに悪いことに、大規模なコードモデルの高コストを考えると、AI技術の持続可能な開発原理に強く反対する、計算資源とエネルギーの膨大な無駄である。 しかしながら、そのような無駄は、ニューラルネットワークの完成の研究コミュニティにおいて、効果的に対処されたことは言うまでもなく、一度も実現されていない。 したがって、このような不必要なコード補完がコストに優しい方法で起こらないようにすることは、緊急に必要です。 この大きなギャップを埋めるために、私たちはまず、"low-return prompts"と呼ばれる、不完全なコード補完のプロンプトを調査します。 低リターンプロンプトにおける観測可能な4つのパターンを実証的に同定し、それぞれに必要な情報がないため、モデルの精度の向上だけでは対処が困難である。 これは、そのプロンプト自体に基づいて、そのような低リターンプロンプトを識別できる可能性を示している。 この発見を動機として,コード補完品質を予見することで,低リターンプロンプトを停止させる早期リジェクション機構を提案する。 不完全なコード補完を受けると見積もられるプロンプトは、モデルに送信されない。 さらに,本機構の実現可能性を示す5種類の推定器について検討した。 実験の結果、推定器は97.4%の精度でコード補完要求の20%を拒否できることがわかった。

関連論文リスト

• Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
  GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。 改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
  論文  参考訳（メタデータ） (2024-10-29T12:21:23Z)
• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)
• Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [66.51005288743153]
  本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。 私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。 我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
  論文  参考訳（メタデータ） (2024-04-22T15:54:53Z)
• When Neural Code Completion Models Size up the Situation: Attaining Cheaper and Faster Completion through Dynamic Model Inference [11.704110756342212]
  本稿では,コード補完モデルに適した動的推論手法を提案する。 モデル内の16層のうち1.7層を平均スキップすることができ、11.2%のスピードアップとROUGE-Lの限界1.1%の削減に繋がった。
  論文  参考訳（メタデータ） (2024-01-18T13:26:53Z)
• RepoCoder: Repository-Level Code Completion Through Iterative Retrieval and Generation [96.75695811963242]
  RepoCoderはリポジトリレベルのコード補完プロセスを合理化するフレームワークである。 類似性ベースのレトリバーと、事前訓練されたコード言語モデルが組み込まれている。 バニラ検索で拡張されたコード補完アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-03-22T13:54:46Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• CCTEST: Testing and Repairing Code Completion Systems [27.176179982086804]
  本研究は,ブラックボックス設定でコード補完システムをテストし,修復するフレームワークであるCCTESTを提案する。 修復により,BLEUスコアとLevenshtein編集の類似性に関して,コード補完システムの精度が40%から67%向上していることが明らかとなった。
  論文  参考訳（メタデータ） (2022-08-17T13:37:03Z)
• Toward Less Hidden Cost of Code Completion with Acceptance and Ranking Models [12.736207952790618]
  我々は、複数のモデルの結果を組み合わせて、各モデルの利点と相反する欠陥を引き出すアンサンブルフレームワークを開発する。 本稿では,コードコンテキストと異なるコード補完モデルからデータを収集するための符号化シミュレーションを行う。 本稿では,キーストローク保存の利点と完了リスト閲覧の隠れコストを考慮した新しいコード補完評価指標であるBeefit-Cost Ratio(BCR)を提案する。
  論文  参考訳（メタデータ） (2021-06-26T03:02:49Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)
• Towards Full-line Code Completion with Neural Language Models [25.458883198815393]
  単一トークンではなく,コード行全体を直接完了する可能性について論じる。 最近のニューラルネットワークモデルは、コード補完の好ましいアプローチとして採用されている。
  論文  参考訳（メタデータ） (2020-09-18T03:12:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。