論文の概要: RAG or Fine-tuning? A Comparative Study on LCMs-based Code Completion in Industry

• arxiv url: http://arxiv.org/abs/2505.15179v1
• Date: Wed, 21 May 2025 06:51:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.026815
• Title: RAG or Fine-tuning? A Comparative Study on LCMs-based Code Completion in Industry
• Title（参考訳）: RAGかファインチューニングか? : 産業におけるLCMによるコード補完の比較研究
• Authors: Chaozheng Wang, Zezhou Yang, Shuzheng Gao, Cuiyun Gao, Ting Peng, Hailiang Huang, Yuetang Deng, Michael Lyu,
• Abstract要約: 本稿では,産業コード補完のためのRAG(Retrieval-Augmented Generation)とFT(Final-tuning)の2つのパラダイムを比較した。 その結果,RAGは,コードスニペットを高密度ベクトル表現にマッピングする適切な埋め込みモデルを用いて実装すると,微調整のみよりも高い精度が得られることがわかった。
• 参考スコア（独自算出の注目度）: 18.20317556636457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code completion, a crucial practice in industrial settings, helps developers improve programming efficiency by automatically suggesting code snippets during development. With the emergence of Large Code Models (LCMs), this field has witnessed significant advancements. Due to the natural differences between open-source and industrial codebases, such as coding patterns and unique internal dependencies, it is a common practice for developers to conduct domain adaptation when adopting LCMs in industry. There exist multiple adaptation approaches, among which retrieval-augmented generation (RAG) and fine-tuning are the two most popular paradigms. However, no prior research has explored the trade-off of the two approaches in industrial scenarios. To mitigate the gap, we comprehensively compare the two paradigms including Retrieval-Augmented Generation (RAG) and Fine-tuning (FT), for industrial code completion in this paper. In collaboration with Tencent's WXG department, we collect over 160,000 internal C++ files as our codebase. We then compare the two types of adaptation approaches from three dimensions that are concerned by industrial practitioners, including effectiveness, efficiency, and parameter sensitivity, using six LCMs. Our findings reveal that RAG, when implemented with appropriate embedding models that map code snippets into dense vector representations, can achieve higher accuracy than fine-tuning alone. Specifically, BM25 presents superior retrieval effectiveness and efficiency among studied RAG methods. Moreover, RAG and fine-tuning are orthogonal and their combination leads to further improvement. We also observe that RAG demonstrates better scalability than FT, showing more sustained performance gains with larger scales of codebase.
• Abstract（参考訳）: 産業環境で重要なプラクティスであるコード補完は、開発中にコードスニペットを自動的に提案することで、開発者のプログラミング効率向上を支援する。 LCM(Large Code Models)の出現により、この分野は大きな進歩を遂げた。 コーディングパターンやユニークな内部依存性など、オープンソースと産業コードベースの自然な違いのため、開発者は業界でLCMを採用する際にドメイン適応を行うのが一般的である。 複数の適応手法があり、その中では検索拡張生成(RAG)と微調整が2つの最も一般的なパラダイムである。 しかしながら、産業シナリオにおける2つのアプローチのトレードオフについて、事前の研究は行われていない。 本稿では, このギャップを緩和するため, 産業コード補完のため, Retrieval-Augmented Generation (RAG) と Fine-tuning (FT) の2つのパラダイムを総合的に比較する。 TencentのWXG部門と共同で,コードベースとして16万以上の内部C++ファイルを収集しています。 次に、6つのLCMを用いて、産業従事者による3次元の適応手法を比較し、有効性、効率性、パラメータ感度について比較した。 その結果,RAGは,コードスニペットを高密度ベクトル表現にマッピングする適切な埋め込みモデルを用いて実装すると,微調整のみよりも高い精度が得られることがわかった。 具体的には, BM25は, RAG法よりも優れた検索効率と効率を示す。 さらに、RAGと微調整は直交であり、それらの組み合わせはさらなる改善をもたらす。 また、RAGはFTよりも優れたスケーラビリティを示し、より大規模なコードベースでより持続的なパフォーマンス向上を示します。

関連論文リスト

• Enhancing Learned Knowledge in LoRA Adapters Through Efficient Contrastive Decoding on Ascend NPUs [12.995753143157083]
  Contrastive LoRA Decoding (CoLD) は、LoRA適応モデルにおけるタスク固有の知識の使用を最大化するために設計された、新しいデコーディングフレームワークである。 CoLDはタスクの精度を最大5.54%向上し、エンドツーエンドのレイテンシを28%削減する。
  論文  参考訳（メタデータ） (2025-05-20T17:11:18Z)
• Towards A Generalist Code Embedding Model Based On Massive Data Synthesis [35.04242699869519]
  汎用コード検索のための最先端の埋め込みモデルである textbfCodeR (underlineCode underlineRetrieval) を導入する。 CodeRの優れたパフォーマンスは、DRU原則に基づいて構築された大規模な合成データセットであるCodeR-Pile上に構築されている。
  論文  参考訳（メタデータ） (2025-05-19T04:37:53Z)
• GNN-Coder: Boosting Semantic Code Retrieval with Combined GNNs and Transformer [15.991615273248804]
  抽象構文木(AST)を利用するグラフニューラルネットワーク(GNN)に基づく新しいフレームワークであるGNN-Coderを紹介する。 GNN-Coderは、CSNデータセットのMRRが1%-10%改善され、CosQAデータセットのゼロショットパフォーマンスが20%向上するなど、検索パフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2025-02-21T04:29:53Z)
• LLM4EFFI: Leveraging Large Language Models to Enhance Code Efficiency and Correctness [38.399282089600284]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを示している。 ulineLarge ulineLanguage ulineModel for Code ulineEfficiencyは、LLMが効率性と正確性の両方のバランスをとるコードを生成することができる新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-02-17T07:01:18Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Prompt-based Code Completion via Multi-Retrieval Augmented Generation [15.233727939816388]
  ProCCは、プロンプトエンジニアリングとコンテキスト多武装バンディットアルゴリズムを活用したコード補完フレームワークである。 ProCCは、収集したオープンソースベンチマークスイートにおいて、最先端のコード補完テクニックを8.6%上回ります。 ProCCはまた, プラグ・アンド・プレイ方式で微調整技術を増強し, 実験した微調整モデルよりも5.6%改善した。
  論文  参考訳（メタデータ） (2024-05-13T07:56:15Z)
• SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
  FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。 FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-03-23T14:04:48Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。