論文の概要: REPOFUSE: Repository-Level Code Completion with Fused Dual Context
- arxiv url: http://arxiv.org/abs/2402.14323v2
- Date: Fri, 23 Feb 2024 02:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 11:44:53.986067
- Title: REPOFUSE: Repository-Level Code Completion with Fused Dual Context
- Title(参考訳): REPOFUSE: 融合デュアルコンテキストによるリポジトリレベルのコード補完
- Authors: Ming Liang, Xiaoheng Xie, Gehao Zhang, Xunjin Zheng, Peng Di, wei
jiang, Hongwei Chen, Chengpeng Wang, Gang Fan
- Abstract要約: 本稿では,遅延トレードオフを伴わずにリポジトリレベルのコード補完を向上するための先駆的ソリューションであるREPOFUSEを紹介する。
本稿では、2種類の文脈を制限された大きさのプロンプトに効率的に凝縮する新しいランク・トランケート・ジェネレーション(RTG)手法を提案する。
REPOFUSEは既存のモデルよりも大幅に飛躍し、コード補完の正確な一致(EM)精度が40.90%から59.75%向上し、推論速度が26.8%向上した。
- 参考スコア(独自算出の注目度): 11.531678717514724
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The success of language models in code assistance has spurred the proposal of
repository-level code completion as a means to enhance prediction accuracy,
utilizing the context from the entire codebase. However, this amplified context
can inadvertently increase inference latency, potentially undermining the
developer experience and deterring tool adoption - a challenge we termed the
Context-Latency Conundrum. This paper introduces REPOFUSE, a pioneering
solution designed to enhance repository-level code completion without the
latency trade-off. REPOFUSE uniquely fuses two types of context: the analogy
context, rooted in code analogies, and the rationale context, which encompasses
in-depth semantic relationships. We propose a novel rank truncated generation
(RTG) technique that efficiently condenses these contexts into prompts with
restricted size. This enables REPOFUSE to deliver precise code completions
while maintaining inference efficiency. Through testing with the CrossCodeEval
suite, REPOFUSE has demonstrated a significant leap over existing models,
achieving a 40.90% to 59.75% increase in exact match (EM) accuracy for code
completions and a 26.8% enhancement in inference speed. Beyond experimental
validation, REPOFUSE has been integrated into the workflow of a large
enterprise, where it actively supports various coding tasks.
- Abstract(参考訳): コードアシストにおける言語モデルの成功は、コードベース全体のコンテキストを活用して、予測精度を高める手段としてのリポジトリレベルのコード補完の提案を促した。
しかしながら、この増幅されたコンテキストは、必然的に推論遅延を増大させ、開発者エクスペリエンスを損なう可能性があり、ツールの採用を妨げます。
本稿では,遅延トレードオフを伴わずにリポジトリレベルのコード補完を向上する手法であるREPOFUSEを紹介する。
repofuseは、コードアナロジーに根ざしたアナロジーコンテキストと、深い意味関係を包含するrationaleコンテキストという、2つのタイプのコンテキストを一意に融合させる。
本稿では,これらの文脈を制限された大きさのプロンプトに効率的に凝縮するRTG手法を提案する。
これにより、REPOFUSEは推論効率を維持しながら正確なコード補完を提供することができる。
CrossCodeEvalスイートのテストを通じて、REPOFUSEは既存のモデルよりも大幅に飛躍し、コード補完の正確なマッチング(EM)精度が40.90%から59.75%向上し、推論速度が26.8%向上した。
実験的な検証以外にも、REPOFUSEは大企業のワークフローに統合されており、様々なコーディングタスクを積極的にサポートしている。
関連論文リスト
- RepoHyper: Better Context Retrieval Is All You Need for Repository-Level
Code Completion [13.299040060528982]
RepoHyperは、リポジトリレベルのコード補完に関連する複雑な問題に対処するために設計されたフレームワークである。
RepoHyperの中心はRepoレベルのセマンティックグラフ(RSG)であり、コードリポジトリの広大なコンテキストをカプセル化する新しいセマンティックグラフ構造である。
論文 参考訳(メタデータ) (2024-03-10T05:10:34Z) - Theoretically Achieving Continuous Representation of Oriented Bounding
Boxes [67.98100888932403]
本論文は,オブジェクト指向境界ボックス表現における不連続性を完全に解決しようとする試みである。
本研究では,既存の検出器に容易に統合可能なCOBB(Continuous OBB)という新しい表現法を提案する。
OOD評価のためのオープンソースのディープラーニングフレームワークJittorの検出ツールボックスJDetをベースとした,モジュール化されたベンチマークを開発した。
論文 参考訳(メタデータ) (2024-02-29T09:27:40Z) - IRCoCo: Immediate Rewards-Guided Deep Reinforcement Learning for Code
Completion [38.863871578280936]
コード補完固有のDRLに基づく微調整フレームワークIRCoCoを提案する。
我々は、IRCoCoを用いた微調整済みLMが、コード補完タスクの大幅な改善をもたらすことを示す。
論文 参考訳(メタデータ) (2024-01-30T00:18:20Z) - Unlocking Efficiency in Large Language Model Inference: A Comprehensive
Survey of Speculative Decoding [48.23348694701169]
投機的デコーディングは、LLM(Large Language Models)推論のための新しいデコーディングパラダイムとして登場した。
復号処理の各ステップにおいて、この手法はまず、複数の将来のトークンを効率的にドラフトし、それらを並列に検証する。
本稿では,この有望な復号化パラダイムの概観と解析について述べる。
論文 参考訳(メタデータ) (2024-01-15T17:26:50Z) - Rewriting the Code: A Simple Method for Large Language Model Augmented
Code Search [8.791624084146736]
Generation-Augmented Retrieval (GAR)フレームワークは、クエリを拡張するための例のコードスニペットを生成する。
本稿では,スタイル正規化のためのフレームワーク内でコード(ReCo)を書き換える,シンプルで効果的な方法を提案する。
論文 参考訳(メタデータ) (2024-01-09T12:12:50Z) - A Review of Repository Level Prompting for LLMs [0.0]
大規模言語モデル(LLM)は、HumanEvalベンチマークで94.6%の解決率を達成するなど、顕著な成功を収めている。
GitHub CopilotやTab Nineといったリポジトリレベルのインラインコード補完ツールの商用化が進んでいる。
本稿では,個々のコーディング問題からリポジトリスケールソリューションへの移行について述べる。
論文 参考訳(メタデータ) (2023-12-15T00:34:52Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - RepoCoder: Repository-Level Code Completion Through Iterative Retrieval
and Generation [96.75695811963242]
RepoCoderはリポジトリレベルのコード補完プロセスを合理化するフレームワークである。
類似性ベースのレトリバーと、事前訓練されたコード言語モデルが組み込まれている。
バニラ検索で拡張されたコード補完アプローチよりも一貫して優れています。
論文 参考訳(メタデータ) (2023-03-22T13:54:46Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-03-15T08:25:08Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳(メタデータ) (2020-05-01T23:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。