論文の概要: Why Personalizing Deep Learning-Based Code Completion Tools Matters

• arxiv url: http://arxiv.org/abs/2503.14201v1
• Date: Tue, 18 Mar 2025 12:26:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:17:15.076512
• Title: Why Personalizing Deep Learning-Based Code Completion Tools Matters
• Title（参考訳）: ディープラーニングベースのコード補完ツールが重要である理由
• Authors: Alessandro Giagnorio, Alberto Martin-Lopez, Gabriele Bavota,
• Abstract要約: 2つの組織(ApacheとSpring)から136人の開発者、2つのモデルアーキテクチャ(T5とCode Llama)、3つのモデルサイズ(60M、750M、および7Bのトレーニング可能なパラメータ)を考える。 Code Llamaモデル(7B)では、すでにトレーニング済みのモデルのパフォーマンスをオンラインで公開し、同じモデルを組織や開発者固有のデータセットに基づいて微調整しました。 以上の結果から,組織別および開発者別追加微調整による予測能力の向上が示唆された。
• 参考スコア（独自算出の注目度）: 55.39571645315926
• License:
• Abstract: Deep learning (DL)-based code completion tools have transformed software development by enabling advanced code generation. These tools leverage models trained on vast amounts of code from numerous repositories, capturing general coding patterns. However, the impact of fine-tuning these models for specific organizations or developers to boost their performance on such subjects remains unexplored. In this work, we fill this gap by presenting solid empirical evidence answering this question. More specifically, we consider 136 developers from two organizations (Apache and Spring), two model architectures (T5 and Code Llama), and three model sizes (60M, 750M, and 7B trainable parameters). T5 models (60M, 750M) were pre-trained and fine-tuned on over 2,000 open-source projects, excluding the subject organizations' data, and compared against versions fine-tuned on organization- and developer-specific datasets. For the Code Llama model (7B), we compared the performance of the already pre-trained model publicly available online with the same model fine-tuned via parameter-efficient fine-tuning on organization- and developer-specific datasets. Our results show that there is a boost in prediction capabilities provided by both an organization-specific and a developer-specific additional fine-tuning, with the former being particularly performant. Such a finding generalizes across (i) the two subject organizations (i.e., Apache and Spring) and (ii) models of completely different magnitude (from 60M to 7B trainable parameters). Finally, we show that DL models fine-tuned on an organization-specific dataset achieve the same completion performance of pre-trained code models used out of the box and being $\sim$10$\times$ larger, with consequent savings in terms of deployment and inference cost (e.g., smaller GPUs needed).
• Abstract（参考訳）: ディープラーニング(DL)ベースのコード補完ツールは、高度なコード生成を可能にすることでソフトウェア開発を変革した。 これらのツールは、多数のリポジトリから大量のコードに基づいてトレーニングされたモデルを活用し、一般的なコーディングパターンをキャプチャする。 しかし、特定の組織や開発者にこれらのモデルを微調整してパフォーマンスを向上させる効果は、まだ解明されていない。 本研究では,この問題に答える確固たる実証的証拠を提示することによって,このギャップを埋める。 具体的には、2つの組織(ApacheとSpring)から136人の開発者、2つのモデルアーキテクチャ(T5とCode Llama)、3つのモデルサイズ(60M、750M、および7Bのトレーニング可能なパラメータ)について検討する。 T5モデル(60M、750M)は2000以上のオープンソースプロジェクトで事前トレーニングされ、対象組織のデータを除いて微調整され、組織や開発者固有のデータセットで微調整されたバージョンと比較された。 Code Llamaモデル(7B)では、すでにトレーニング済みのモデルをオンラインで公開し、同じモデルでパラメータ効率の高い組織および開発者固有のデータセットを微調整しました。 以上の結果から,組織特化と開発者特化の両方による予測能力の向上が示唆された。 そのような発見は至る所で一般化する (i)2つの科目組織(すなわちApacheとSpring)と (II) 全く異なる大きさのモデル(60Mから7Bのトレーニング可能なパラメータ)。 最後に、組織固有のデータセットで微調整されたDLモデルは、最初から使用されていた事前訓練済みのコードモデルと同じ補完性能を達成し、デプロイと推論コスト(例えば、より小さなGPUが必要)の点で、$$\sim$10$\times$であることを示す。

関連論文リスト

• How to Select Pre-Trained Code Models for Reuse? A Learning Perspective [29.83900262273832]
  市販の事前訓練コードモデル(PCM)が公開されている。 コードインテリジェンスタスクに広く使用されている100のオープンソースPCMで実験を行い、サイズは425万から30億のパラメータです。 その結果, ブラトフォース微調整を施した2,700時間に対して, 学習ベース選択法は選択時間を100秒に短縮した。
  論文  参考訳（メタデータ） (2025-01-07T13:45:24Z)
• Language Models as Continuous Self-Evolving Data Engineers [32.67875951851165]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示している。 従来のトレーニングアプローチは、専門家ラベル付きデータに大きく依存しています。 我々はLANCEという新しいパラダイムを提案し、LLMはデータの自動生成、クリーニング、レビュー、注釈付けによって自らを訓練することができる。
  論文  参考訳（メタデータ） (2024-12-19T18:28:41Z)
• What matters when building vision-language models? [52.8539131958858]
  我々は、80億のパラメータを持つ効率的な基礎的視覚言語モデルであるIdefics2を開発した。 Idefics2は、様々なマルチモーダルベンチマークで、そのサイズカテゴリ内で最先端のパフォーマンスを達成する。 トレーニング用に作成されたデータセットとともに、モデル(ベース、指示、チャット)をリリースします。
  論文  参考訳（メタデータ） (2024-05-03T17:00:00Z)
• How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources [117.6496550359768]
  この研究は、オープンな命令追従データセットにおける命令チューニング言語モデルの最近の進歩を探求する。 我々は、12の命令データセットに基づいて訓練された6.7Bから65Bのパラメータを含む、命令調整されたモデルの大規模なセットを提供する。 それらの事実的知識、推論、多言語性、コーディング、そしてその後に続くオープン・エンド・インストラクションに基づいて評価する。
  論文  参考訳（メタデータ） (2023-06-07T19:59:23Z)
• Skill over Scale: The Case for Medium, Domain-Specific Models for SE [4.2630881518611226]
  コードラベリングタスクにおいて、控えめな大きさのドメイン固有モデルは、はるかに大きなモデルよりも優れていることを示す。 SOBertBase (125Mパラメータ)とSOBertLarge (762Mパラメータ)の2つのモデルを、それぞれ374ドルと1600ドルでトレーニングしています。 その結果、ドメイン内データを広範囲かつ適切に事前学習することで、クローズドソース汎用モデルを活用するための、強力で安価な代替手段が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-05T21:38:30Z)
• CCT5: A Code-Change-Oriented Pre-Trained Model [14.225942520238936]
  我々は、ソフトウェアメンテナンスにおける開発者のサポートを改善するために、コード変更用に特別に設計されたモデルを事前訓練することを提案する。 まず、1.5M以上のコード変更とコミットメッセージのペアデータを含む大規模なデータセットを収集します。 トレーニング済みのモデルであるCCT5を、コードの変更とコードレビュープロセスに特有の2つのタスクによって引き起こされる3つの広範囲に分散したタスクで微調整する。
  論文  参考訳（メタデータ） (2023-05-18T07:55:37Z)
• Scaling Instruction-Finetuned Language Models [126.4789306516927]
  命令として表現されたデータセットの集合上での言語モデルの微調整は、モデル性能を改善することが示されている。 命令の微調整により,様々なモデルクラスの性能が劇的に向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-20T16:58:32Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。