論文の概要: Learning to Prevent Profitless Neural Code Completion

• arxiv url: http://arxiv.org/abs/2209.05948v1
• Date: Tue, 13 Sep 2022 12:43:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-14 13:10:50.921397
• Title: Learning to Prevent Profitless Neural Code Completion
• Title（参考訳）: 無益なニューラルコード補完を防ぐための学習
• Authors: Zhensu Sun, Xiaoning Du, Fu Song, Shangwen Wang, Mingze Ni, Li Li
• Abstract要約: 2,631人の参加者による調査によると、Copilotから表示されたコード補完の約70%は、開発者に受け入れられていない。 大型モデルの高コストを考えると、これは計算資源とエネルギーの膨大な無駄である。 そこで本研究では,LCMに送信することなく,完了品質を予知することで,低リターンプロンプトを停止させる早期のリジェクション機構を提案する。
• 参考スコア（独自算出の注目度）: 8.99695131692619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Currently, large pre-trained models are widely applied in neural code completion systems, such as Github Copilot, aiXcoder, and TabNine. Though large models significantly outperform their smaller counterparts, a survey with 2,631 participants reveals that around 70\% displayed code completions from Copilot are not accepted by developers. Being reviewed but not accepted, these completions bring a threat to productivity. Besides, considering the high cost of the large models, it is a huge waste of computing resources and energy, which severely goes against the sustainable development principle of AI technologies. Additionally, in code completion systems, the completion requests are automatically and actively issued to the models as developers type out, which significantly aggravates the workload. However, to the best of our knowledge, such waste has never been realized, not to mention effectively addressed, in the context of neural code completion. Hence, preventing such profitless code completions from happening in a cost-friendly way is of urgent need. To fill this gap, we first investigate the prompts of these completions and find four observable prompt patterns, which demonstrate the feasibility of identifying such prompts based on prompts themselves. Motivated by this finding, we propose an early-rejection mechanism to turn down low-return prompts by foretelling the completion qualities without sending them to the LCM. Further, we propose a lightweight Transformer-based estimator to demonstrate the feasibility of the mechanism. The experimental results show that the estimator rejects low-return prompts with a promising accuracy of 83.2%.
• Abstract（参考訳）: 現在、大規模な事前トレーニングされたモデルは、Github Copilot、aiXcoder、TabNineなどのニューラルコード補完システムに広く適用されている。 2,631人の参加者による調査によると、copilotから表示されたコードコンプリートは約70\%が開発者に受け入れられていない。 レビューされるが受け入れられないこれらの完成は生産性に脅威をもたらす。 さらに、大規模モデルの高コストを考慮すると、AI技術の持続可能な開発原理に強く反対する、計算資源とエネルギーの膨大な無駄である。 さらに、コード補完システムでは、開発者が入力するモデルに対して、完了要求が自動的にアクティブに発行されるため、ワークロードが著しく悪化する。 しかしながら、私たちの知る限りでは、そのような無駄は、ニューラルネットワークの完了という文脈において、効果的に対処されたというわけではない。 したがって、このような無益なコード補完をコストフレンドリーな方法で防止することは、緊急に必要である。 このギャップを埋めるために、まずこれらの完了のプロンプトを調査し、4つの観察可能なプロンプトパターンを見つけます。 そこで本研究では,LCMに送信することなく,完成品質を予見することで,低リターンプロンプトを停止させる早期リジェクション機構を提案する。 さらに,本機構の実現可能性を示す軽量なトランスフォーマーベース推定器を提案する。 実験の結果、推定器は低リターンプロンプトを83.2%の精度で拒絶することが示された。

関連論文リスト

• Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
  GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。 改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
  論文  参考訳（メタデータ） (2024-10-29T12:21:23Z)
• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)
• Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [66.51005288743153]
  本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。 私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。 我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
  論文  参考訳（メタデータ） (2024-04-22T15:54:53Z)
• When Neural Code Completion Models Size up the Situation: Attaining Cheaper and Faster Completion through Dynamic Model Inference [11.704110756342212]
  本稿では,コード補完モデルに適した動的推論手法を提案する。 モデル内の16層のうち1.7層を平均スキップすることができ、11.2%のスピードアップとROUGE-Lの限界1.1%の削減に繋がった。
  論文  参考訳（メタデータ） (2024-01-18T13:26:53Z)
• RepoCoder: Repository-Level Code Completion Through Iterative Retrieval and Generation [96.75695811963242]
  RepoCoderはリポジトリレベルのコード補完プロセスを合理化するフレームワークである。 類似性ベースのレトリバーと、事前訓練されたコード言語モデルが組み込まれている。 バニラ検索で拡張されたコード補完アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-03-22T13:54:46Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• CCTEST: Testing and Repairing Code Completion Systems [27.176179982086804]
  本研究は,ブラックボックス設定でコード補完システムをテストし,修復するフレームワークであるCCTESTを提案する。 修復により,BLEUスコアとLevenshtein編集の類似性に関して,コード補完システムの精度が40%から67%向上していることが明らかとなった。
  論文  参考訳（メタデータ） (2022-08-17T13:37:03Z)
• Toward Less Hidden Cost of Code Completion with Acceptance and Ranking Models [12.736207952790618]
  我々は、複数のモデルの結果を組み合わせて、各モデルの利点と相反する欠陥を引き出すアンサンブルフレームワークを開発する。 本稿では,コードコンテキストと異なるコード補完モデルからデータを収集するための符号化シミュレーションを行う。 本稿では,キーストローク保存の利点と完了リスト閲覧の隠れコストを考慮した新しいコード補完評価指標であるBeefit-Cost Ratio(BCR)を提案する。
  論文  参考訳（メタデータ） (2021-06-26T03:02:49Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)
• Towards Full-line Code Completion with Neural Language Models [25.458883198815393]
  単一トークンではなく,コード行全体を直接完了する可能性について論じる。 最近のニューラルネットワークモデルは、コード補完の好ましいアプローチとして採用されている。
  論文  参考訳（メタデータ） (2020-09-18T03:12:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。