論文の概要: Toward Less Hidden Cost of Code Completion with Acceptance and Ranking Models

• arxiv url: http://arxiv.org/abs/2106.13928v1
• Date: Sat, 26 Jun 2021 03:02:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 17:48:15.105715
• Title: Toward Less Hidden Cost of Code Completion with Acceptance and Ranking Models
• Title（参考訳）: 受け入れとランク付けモデルによるコード補完の隠れコスト削減に向けて
• Authors: Jingxuan Li, Rui Huang, Wei Li, Kai Yao, Weiguo Tan
• Abstract要約: 我々は、複数のモデルの結果を組み合わせて、各モデルの利点と相反する欠陥を引き出すアンサンブルフレームワークを開発する。 本稿では,コードコンテキストと異なるコード補完モデルからデータを収集するための符号化シミュレーションを行う。 本稿では,キーストローク保存の利点と完了リスト閲覧の隠れコストを考慮した新しいコード補完評価指標であるBeefit-Cost Ratio(BCR)を提案する。
• 参考スコア（独自算出の注目度）: 12.736207952790618
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Code completion is widely used by software developers to provide coding suggestions given a partially written code snippet. Apart from the traditional code completion methods, which only support single token completion at minimal positions, recent studies show the ability to provide longer code completion at more flexible positions. However, such frequently triggered and longer completion results reduce the overall precision as they generate more invalid results. Moreover, different studies are mostly incompatible with each other. Thus, it is vital to develop an ensemble framework that can combine results from multiple models to draw merits and offset defects of each model. This paper conducts a coding simulation to collect data from code context and different code completion models and then apply the data in two tasks. First, we introduce an acceptance model which can dynamically control whether to display completion results to the developer. It uses simulation features to predict whether correct results exist in the output of these models. Our best model reduces the percentage of false-positive completion from 55.09% to 17.44%. Second, we design a fusion ranking scheme that can automatically identify the priority of the completion results and reorder the candidates from multiple code completion models. This scheme is flexible in dealing with various models, regardless of the type or the length of their completion results. We integrate this ranking scheme with two frequency models and a GPT-2 styled language model, along with the acceptance model to yield 27.80% and 37.64% increase in TOP1 and TOP5 accuracy, respectively. In addition, we propose a new code completion evaluation metric, Benefit-Cost Ratio(BCR), taking into account the benefit of keystrokes saving and hidden cost of completion list browsing, which is closer to real coder experience scenario.
• Abstract（参考訳）: コード補完は、ソフトウェア開発者が部分的に記述されたコードスニペットに対してコード提案を提供するために広く使われている。 単一トークン補完を最小限の位置にしかサポートしない従来のコード補完方法とは別に、最近の研究では、より柔軟な位置により長いコード補完を提供する能力を示している。 しかし、そのような頻繁なトリガーとより長い完了結果により、より無効な結果を生み出すため、全体的な精度が低下する。 さらに、異なる研究はほとんどが互いに相容れない。 したがって、複数のモデルの結果を組み合わせて、各モデルの利点とオフセット欠陥を引き出すアンサンブルフレームワークを開発することが不可欠である。 本稿では、コードコンテキストと異なるコード補完モデルからデータを収集し、2つのタスクにデータを適用するための符号化シミュレーションを行う。 まず、開発者が完了結果を表示するかどうかを動的に制御できる受け入れモデルを提案する。 シミュレーション機能を使用して、これらのモデルの出力に正しい結果が存在するかどうかを予測する。 我々の最良のモデルは偽陽性の完成率を55.09%から17.44%に下げる。 第2に,完了結果の優先度を自動的に識別し,複数のコード補完モデルから候補を再順序付け可能な融合ランキングスキームを設計する。 このスキームは、タイプや完了結果の長さに関わらず、様々なモデルを扱う際に柔軟である。 このランク付け方式を2つの周波数モデルとgpt-2スタイル言語モデルに統合し,受入モデルは27.80%,top1は37.64%,top5は37.64%向上した。 さらに,キーストローク保存の利点と,実際のコーダ体験シナリオに近い完了リストブラウジングの隠れコストを考慮した新しいコード補完評価指標であるBeefit-Cost Ratio(BCR)を提案する。

関連論文リスト

• Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [66.51005288743153]
  本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。 私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。 我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
  論文  参考訳（メタデータ） (2024-04-22T15:54:53Z)
• When Neural Code Completion Models Size up the Situation: Attaining Cheaper and Faster Completion through Dynamic Model Inference [11.704110756342212]
  本稿では,コード補完モデルに適した動的推論手法を提案する。 モデル内の16層のうち1.7層を平均スキップすることができ、11.2%のスピードアップとROUGE-Lの限界1.1%の削減に繋がった。
  論文  参考訳（メタデータ） (2024-01-18T13:26:53Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• Enriching Source Code with Contextual Data for Code Completion Models: An Empirical Study [4.438873396405334]
  コンテクストデータを用いてコードを理解しやすくすることで、コード補完作業のための事前学習された言語モデルの性能が向上するかどうかを問う。 コメントについては、マルチラインコメントの存在下でモデルの性能が向上していることが分かる。
  論文  参考訳（メタデータ） (2023-04-24T17:09:14Z)
• CodeExp: Explanatory Code Document Generation [94.43677536210465]
  既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。 我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。 タスクのための多段階微調整戦略とベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-25T18:05:44Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Don't Complete It! Preventing Unhelpful Code Completion for Productive and Sustainable Neural Code Completion Systems [16.03416381009787]
  現在、大きな事前訓練された言語モデルは、ニューラルコード補完システムに広く適用されている。 Github Copilotの表示されたコード補完の約70%は、開発者に受け入れられていない。 本稿では,コード補完性能を予見することで,低リターンプロンプトを停止させる早期リジェクション機構を提案する。
  論文  参考訳（メタデータ） (2022-09-13T12:43:41Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• Towards Full-line Code Completion with Neural Language Models [25.458883198815393]
  単一トークンではなく,コード行全体を直接完了する可能性について論じる。 最近のニューラルネットワークモデルは、コード補完の好ましいアプローチとして採用されている。
  論文  参考訳（メタデータ） (2020-09-18T03:12:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。