論文の概要: Domain Adaptive Code Completion via Language Models and Decoupled Domain Databases

• arxiv url: http://arxiv.org/abs/2308.09313v2
• Date: Wed, 20 Sep 2023 04:33:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 13:37:12.419674
• Title: Domain Adaptive Code Completion via Language Models and Decoupled Domain Databases
• Title（参考訳）: 言語モデルと分離したドメインデータベースによるドメイン適応型コード補完
• Authors: Ze Tang, Jidong Ge, Shangqing Liu, Tingwei Zhu, Tongtong Xu, Liguo Huang, Bin Luo
• Abstract要約: $k$NM-LMは、ドメイン知識を微調整なしで言語モデルに統合する検索強化言語モデルである。 私たちのアプローチは、異なる言語モデルとドメインに自動的に適応できます。
• 参考スコア（独自算出の注目度）: 15.964849180459675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable performance in code completion. However, due to the lack of domain-specific knowledge, they may not be optimal in completing code that requires intensive domain knowledge for example completing the library names. Although there are several works that have confirmed the effectiveness of fine-tuning techniques to adapt language models for code completion in specific domains. They are limited by the need for constant fine-tuning of the model when the project is in constant iteration. To address this limitation, in this paper, we propose $k$NM-LM, a retrieval-augmented language model (R-LM), that integrates domain knowledge into language models without fine-tuning. Different from previous techniques, our approach is able to automatically adapt to different language models and domains. Specifically, it utilizes the in-domain code to build the retrieval-based database decoupled from LM, and then combines it with LM through Bayesian inference to complete the code. The extensive experiments on the completion of intra-project and intra-scenario have confirmed that $k$NM-LM brings about appreciable enhancements when compared to CodeGPT and UnixCoder. A deep analysis of our tool including the responding speed, storage usage, specific type code completion, and API invocation completion has confirmed that $k$NM-LM provides satisfactory performance, which renders it highly appropriate for domain adaptive code completion. Furthermore, our approach operates without the requirement for direct access to the language model's parameters. As a result, it can seamlessly integrate with black-box code completion models, making it easy to integrate our approach as a plugin to further enhance the performance of these models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード補完において顕著なパフォーマンスを示している。 しかし、ドメイン固有の知識が欠如しているため、ライブラリ名を完成させるなど、集中的なドメイン知識を必要とするコード補完には最適ではないかもしれない。 しかし、特定のドメインでコード補完に言語モデルを適用するための微調整技術の有効性を確認したいくつかの作品がある。 プロジェクトのイテレーションが一定である場合、モデルの微調整が常に必要となるため、これらは制限される。 この制限に対処するため,本論文では,ドメイン知識を微調整なしで言語モデルに統合する検索拡張言語モデル(R-LM)である$k$NM-LMを提案する。 従来の手法とは異なり、我々のアプローチは異なる言語モデルやドメインに自動的に適応することができる。 具体的には、ドメイン内のコードを使用して、LMから切り離された検索ベースのデータベースを構築し、ベイズ推論を通じてLMと組み合わせてコードを完成させる。 プロジェクト内およびscenario内の完了に関する広範な実験により、CodeGPTやUnixCoderと比較して、$k$NM-LMは高い拡張をもたらすことが確認された。 応答速度,ストレージ使用量,特定の型コード補完,API呼び出し完了など,当社のツールを深く分析した結果,$k$NM-LMが良好なパフォーマンスを提供しており,ドメイン適応型コード補完に非常に適していることがわかった。 さらに,本手法では,言語モデルのパラメータに直接アクセスする必要がない。 その結果、ブラックボックスコード補完モデルとシームレスに統合でき、プラグインとして私たちのアプローチを統合することで、これらのモデルの性能をさらに向上できます。

関連論文リスト

• Retrieval-augmented code completion for local projects using large language models [0.0]
  我々は,局所的な実行に適した約1億6000万のパラメータを持つ大規模言語モデル (LLM) の利用に注力する。 我々は、オープンソースのPythonファイル上に、トランスフォーマーアーキテクチャ、生成モデルGPT-2と検索適応RETROモデルに基づく2つのモデルをトレーニングする。 トークンのジャカード類似性に基づいてコードスニペットを検索するIn-context Search-augmented Generationを用いて、モデルの性能を改善する。
  論文  参考訳（メタデータ） (2024-08-09T12:26:57Z)
• Learning to Decode Collaboratively with Multiple Language Models [37.31339648499042]
  本稿では,複数の大規模言語モデル (LLM) に,トークンレベルで世代間をインターリーブすることで協調する手法を提案する。 復号化中のトークンレベルのコラボレーションは、各モデルの専門知識を、手元にある特定のタスクに合わせて統合することを可能にする。
  論文  参考訳（メタデータ） (2024-03-06T17:23:28Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Language Models are Universal Embedders [48.12992614723464]
  事前学習されたトランスフォーマーデコーダは、限定的な英語データに基づいて微調整された場合、普遍的に埋め込み可能であることを示す。 我々のモデルは、最小限のトレーニングデータにより、異なる埋め込みタスクにおける競争性能を達成する。 これらの結果は、強力な統合インバータを構築するための有望な道の証となる。
  論文  参考訳（メタデータ） (2023-10-12T11:25:46Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)
• $k$NN-Adapter: Efficient Domain Adaptation for Black-Box Language Models [18.969047541720123]
  $k$NN-Adapterは、大きな言語モデルを新しいドメインに適応させる方法である。 4つの異なるドメインの実験では、$k$NN-Adapterがパープレキシティを大幅に改善している。
  論文  参考訳（メタデータ） (2023-02-21T18:54:21Z)
• VarMAE: Pre-training of Variational Masked Autoencoder for Domain-adaptive Language Understanding [5.1282202633907]
  本稿では,ドメイン適応型言語理解のためのトランスフォーマーベース言語モデルであるVarMAEを提案する。 マスク付き自動符号化の目的のもと,トークンのコンテキストをスムーズな潜伏分布に符号化するコンテキスト不確実性学習モジュールを設計する。 科学および金融分野におけるNLUタスクの実験は、VarMAEが限られたリソースを持つ新しいドメインに効率的に適応できることを実証している。
  論文  参考訳（メタデータ） (2022-11-01T12:51:51Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)
• Cross-Domain Deep Code Search with Meta Learning [14.618183588410194]
  ドメイン固有のコード検索のための新しいアプローチであるCroCSを提案する。 CroCSは、プログラム表現モデルを一般的なプログラミング言語の大規模なコーパス上で事前訓練するトランスファーラーニングフレームワークを採用している。
  論文  参考訳（メタデータ） (2022-01-01T09:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。