論文の概要: Don't Complete It! Preventing Unhelpful Code Completion for Productive and Sustainable Neural Code Completion Systems
- arxiv url: http://arxiv.org/abs/2209.05948v3
- Date: Fri, 9 Aug 2024 04:10:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 21:11:46.114300
- Title: Don't Complete It! Preventing Unhelpful Code Completion for Productive and Sustainable Neural Code Completion Systems
- Title(参考訳): 完成するな! 生産的で持続可能なニューラルコード補完システムのための不必要なコード補完の防止
- Authors: Zhensu Sun, Xiaoning Du, Fu Song, Shangwen Wang, Mingze Ni, Li Li, David Lo,
- Abstract要約: 現在、大きな事前訓練された言語モデルは、ニューラルコード補完システムに広く適用されている。
Github Copilotの表示されたコード補完の約70%は、開発者に受け入れられていない。
本稿では,コード補完性能を予見することで,低リターンプロンプトを停止させる早期リジェクション機構を提案する。
- 参考スコア(独自算出の注目度): 16.03416381009787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Currently, large pre-trained language models are widely applied in neural code completion systems. Though large code models significantly outperform their smaller counterparts, around 70\% of displayed code completions from Github Copilot are not accepted by developers. Being reviewed but not accepted, their help to developer productivity is considerably limited and may conversely aggravate the workload of developers, as the code completions are automatically and actively generated in state-of-the-art code completion systems as developers type out once the service is enabled. Even worse, considering the high cost of the large code models, it is a huge waste of computing resources and energy, which severely goes against the sustainable development principle of AI technologies. However, such waste has never been realized, not to mention effectively addressed, in the research community for neural code completion. Hence, preventing such unhelpful code completions from happening in a cost-friendly way is of urgent need. To fill this significant gap, we first investigate the prompts of unhelpful code completions, called "low-return prompts". We empirically identify four observable patterns in low-return prompts, each lacking necessary information, making it difficult to address through enhancements to the model's accuracy alone. This demonstrates the feasibility of identifying such low-return prompts based on the prompts themselves. Motivated by this finding, we propose an early-rejection mechanism to turn down low-return prompts by foretelling the code completion qualities. The prompts that are estimated to receive unhelpful code completions will not be sent to the model. Furthermore, we investigated five types of estimators to demonstrate the feasibility of the mechanism. The experimental results show that the estimator can reject 20% of code completion requests with a 97.4% Precision.
- Abstract(参考訳): 現在、大きな事前訓練された言語モデルは、ニューラルコード補完システムに広く適用されている。
大きなコードモデルは、より小さなコードよりも大幅に優れているが、Github Copilotの表示されたコード補完の約70%は、開発者に受け入れられていない。
レビューされているが受け入れられていないため、開発者生産性への支援はかなり制限されており、サービスが有効になったら開発者が入力アウトすると、コード補完が自動的に、最先端のコード補完システムでアクティブに生成されるため、逆に開発者の作業量が増加する可能性がある。
さらに悪いことに、大規模なコードモデルの高コストを考えると、AI技術の持続可能な開発原理に強く反対する、計算資源とエネルギーの膨大な無駄である。
しかしながら、そのような無駄は、ニューラルネットワークの完成の研究コミュニティにおいて、効果的に対処されたことは言うまでもなく、一度も実現されていない。
したがって、このような不必要なコード補完がコストに優しい方法で起こらないようにすることは、緊急に必要です。
この大きなギャップを埋めるために、私たちはまず、"low-return prompts"と呼ばれる、不完全なコード補完のプロンプトを調査します。
低リターンプロンプトにおける観測可能な4つのパターンを実証的に同定し、それぞれに必要な情報がないため、モデルの精度の向上だけでは対処が困難である。
これは、そのプロンプト自体に基づいて、そのような低リターンプロンプトを識別できる可能性を示している。
この発見を動機として,コード補完品質を予見することで,低リターンプロンプトを停止させる早期リジェクション機構を提案する。
不完全なコード補完を受けると見積もられるプロンプトは、モデルに送信されない。
さらに,本機構の実現可能性を示す5種類の推定器について検討した。
実験の結果、推定器は97.4%の精度でコード補完要求の20%を拒否できることがわかった。
関連論文リスト
- A Transformer-Based Approach for Smart Invocation of Automatic Code Completion [14.34818742116731]
コード補完ツールの起動時期を予測する機械学習モデルを開発した。
クロスIDEコード補完プラグインと200万の開発者インタラクションのデータセットを収集します。
以上の結果から,我々の小型変圧器モデルがベースラインを大きく上回っていることが示唆された。
論文 参考訳(メタデータ) (2024-05-23T16:19:32Z) - Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [69.38352966504401]
本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。
私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。
我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
論文 参考訳(メタデータ) (2024-04-22T15:54:53Z) - FT2Ra: A Fine-Tuning-Inspired Approach to Retrieval-Augmented Code Completion [24.964973946366335]
我々は,真の微調整を模倣することを目的とした新しい検索手法FT2Raを開発した。
FT2RaはUniXcoderの最良のベースライン方式に比べて精度が4.29%向上している。
論文 参考訳(メタデータ) (2024-04-02T01:42:15Z) - When Neural Code Completion Models Size up the Situation: Attaining
Cheaper and Faster Completion through Dynamic Model Inference [11.704110756342212]
本稿では,コード補完モデルに適した動的推論手法を提案する。
モデル内の16層のうち1.7層を平均スキップすることができ、11.2%のスピードアップとROUGE-Lの限界1.1%の削減に繋がった。
論文 参考訳(メタデータ) (2024-01-18T13:26:53Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳(メタデータ) (2023-11-02T01:51:43Z) - Greener yet Powerful: Taming Large Code Generation Models with
Quantization [47.734976584580224]
事前訓練された大規模なディープラーニングモデルは、コード生成の境界を大幅に押し下げた。
その大きな力にもかかわらず、膨大な数のモデルパラメータが、通常のソフトウェア開発環境でそれらを適用することに重大な脅威をもたらします。
モデル圧縮はこれらの課題に対処するための有望なアプローチである。
論文 参考訳(メタデータ) (2023-03-09T16:25:51Z) - Tokenization Consistency Matters for Generative Models on Extractive NLP
Tasks [54.306234256074255]
生成モデルの訓練において一般的に無視されるトークン化の不整合の問題を特定する。
この問題は、入力と出力が無矛盾にトークン化されると、これらのタスクの抽出特性を損なう。
一貫性のあるトークン化では、ドメイン内のデータセットとドメイン外のデータセットの両方で、モデルのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2022-12-19T23:33:21Z) - Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。
この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。
しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。
この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文 参考訳(メタデータ) (2022-07-22T17:52:30Z) - Toward Less Hidden Cost of Code Completion with Acceptance and Ranking
Models [12.736207952790618]
我々は、複数のモデルの結果を組み合わせて、各モデルの利点と相反する欠陥を引き出すアンサンブルフレームワークを開発する。
本稿では,コードコンテキストと異なるコード補完モデルからデータを収集するための符号化シミュレーションを行う。
本稿では,キーストローク保存の利点と完了リスト閲覧の隠れコストを考慮した新しいコード補完評価指標であるBeefit-Cost Ratio(BCR)を提案する。
論文 参考訳(メタデータ) (2021-06-26T03:02:49Z) - RethinkCWS: Is Chinese Word Segmentation a Solved Task? [81.11161697133095]
中国語の単語(CWS)システムの性能は、ディープニューラルネットワークの急速な発展とともに、徐々に高水準に達している。
本稿では、私たちが達成した事柄の株式を取得し、CWSタスクに残されている事柄を再考する。
論文 参考訳(メタデータ) (2020-11-13T11:07:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。