論文の概要: Towards Efficient Fine-tuning of Pre-trained Code Models: An Experimental Study and Beyond

• arxiv url: http://arxiv.org/abs/2304.05216v1
• Date: Tue, 11 Apr 2023 13:34:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 14:42:54.304580
• Title: Towards Efficient Fine-tuning of Pre-trained Code Models: An Experimental Study and Beyond
• Title（参考訳）: 事前訓練されたコードモデルの効率的な微調整に向けて:実験とその先
• Authors: Ensheng Shi, Yanlin Wang, Hongyu Zhang, Lun Du, Shi Han, Dongmei Zhang, Hongbin Sun
• Abstract要約: 微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。 我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。 本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
• 参考スコア（独自算出の注目度）: 52.656743602538825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, fine-tuning pre-trained code models such as CodeBERT on downstream tasks has achieved great success in many software testing and analysis tasks. While effective and prevalent, fine-tuning the pre-trained parameters incurs a large computational cost. In this paper, we conduct an extensive experimental study to explore what happens to layer-wise pre-trained representations and their encoded code knowledge during fine-tuning. We then propose efficient alternatives to fine-tune the large pre-trained code model based on the above findings. Our experimental study shows that (1) lexical, syntactic and structural properties of source code are encoded in the lower, intermediate, and higher layers, respectively, while the semantic property spans across the entire model. (2) The process of fine-tuning preserves most of the code properties. Specifically, the basic code properties captured by lower and intermediate layers are still preserved during fine-tuning. Furthermore, we find that only the representations of the top two layers change most during fine-tuning for various downstream tasks. (3) Based on the above findings, we propose Telly to efficiently fine-tune pre-trained code models via layer freezing. The extensive experimental results on five various downstream tasks demonstrate that training parameters and the corresponding time cost are greatly reduced, while performances are similar or better. Replication package including source code, datasets, and online Appendix is available at: \url{https://github.com/DeepSoftwareAnalytics/Telly}.
• Abstract（参考訳）: 近年、ダウンストリームタスクにおけるCodeBERTのような微調整済みのコードモデルが、多くのソフトウェアテストおよび分析タスクで大きな成功を収めている。 有効で普及しているが、事前学習されたパラメータの微調整には大きな計算コストがかかる。 本稿では,事前学習された表象とそれらのコード知識について,微調整中に何が起こるかを検討するために,広範囲な実験を行った。 次に,上記の結果に基づいて,事前学習した大規模コードモデルを微調整するための効率的な代替案を提案する。 実験の結果,(1)ソースコードの語彙的,構文的,構造的特性はそれぞれ下位層,中間層,上位層にエンコードされ,一方,意味的性質はモデル全体にまたがっていることがわかった。 2) 微調整のプロセスは、ほとんどのコードプロパティを保存します。 特に、下位層と中間層によってキャプチャされる基本的なコード特性は、微調整の間も保存される。 さらに,下流タスクの微調整において,上位2層のみの表現が大きく変化することがわかった。 (3) 上記の知見に基づき, レイヤ凍結による事前学習コードモデルの微調整を効率的に行うTellyを提案する。 5つのダウンストリームタスクの広範な実験結果は、トレーニングパラメータと対応する時間コストが大幅に削減され、パフォーマンスは同等かそれ以上であることを示している。 ソースコード、データセット、オンライン付録を含むレプリケーションパッケージは、 \url{https://github.com/deepsoftwareanalytics/telly} で利用可能である。

関連論文リスト

• Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models [55.45444773200529]
  大きな言語モデル(LLM)は印象的な自然言語能力を示すが、幻覚に苦しむ。 最近の研究は推論時の事実性を改善するための復号化技術に焦点を当てている。
  論文  参考訳（メタデータ） (2024-04-14T19:45:35Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Enriching Source Code with Contextual Data for Code Completion Models: An Empirical Study [4.438873396405334]
  コンテクストデータを用いてコードを理解しやすくすることで、コード補完作業のための事前学習された言語モデルの性能が向上するかどうかを問う。 コメントについては、マルチラインコメントの存在下でモデルの性能が向上していることが分かる。
  論文  参考訳（メタデータ） (2023-04-24T17:09:14Z)
• CodeExp: Explanatory Code Document Generation [94.43677536210465]
  既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。 我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。 タスクのための多段階微調整戦略とベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-25T18:05:44Z)
• No More Fine-Tuning? An Experimental Evaluation of Prompt Tuning in Code Intelligence [33.438384268490815]
  本稿では,コードインテリジェンスタスクにおける即時チューニングの使用と効果を実証的に評価する。 本結果から,3つのタスクの微調整性能は,逐次チューニングが連続的に向上していることが示唆された。 我々の結果は、微調整の代わりに、コードインテリジェンスタスクの迅速なチューニングに適応して、より良いパフォーマンスを実現することができることを示唆している。
  論文  参考訳（メタデータ） (2022-07-24T07:29:17Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)
• CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
  関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。 ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。 バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
  論文  参考訳（メタデータ） (2022-01-26T10:54:30Z)
• Bridging Pre-trained Models and Downstream Tasks for Source Code Understanding [13.65914588243695]
  本稿では,事前学習されたモデルとコード関連タスクをブリッジする手法を提案する。 我々は、下流データの多様性を豊かにする意味保存変換を利用する。 本稿では,既存の事前学習モデルを微調整するために,変換されたデータを手軽に整理するためのカリキュラム学習を紹介する。
  論文  参考訳（メタデータ） (2021-12-04T07:21:28Z)
• What do pre-trained code models know about code? [9.60966128833701]
  事前に訓練されたコードモデルを調べるために、プローブと呼ばれる診断タスクを使用します。 BERT(英語で事前学習)、CodeBERT(ソースコードで事前学習)、CodeBERTa(自然言語で事前学習)、GraphCodeBERT(データフローでソースコードで事前学習)について検討した。
  論文  参考訳（メタデータ） (2021-08-25T16:20:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。