論文の概要: Directional Diffusion-Style Code Editing Pre-training

• arxiv url: http://arxiv.org/abs/2501.12079v1
• Date: Tue, 21 Jan 2025 12:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:24:32.348768
• Title: Directional Diffusion-Style Code Editing Pre-training
• Title（参考訳）: 事前学習による方向拡散型コード編集
• Authors: Qingyuan Liang, Zeyu Sun, Qihao Zhu, Junhao Hu, Yifan Zhao, Yizhou Chen, Mingxuan Zhu, Guoqing Wang, Lu Zhang,
• Abstract要約: データレベルでの方向拡散に基づく事前学習モデルであるDivoT5を提案する。 DivoT5は、ほとんどのタスクにおいて、同じスケールのモデルと比較して、最先端のSOTA(State-of-the-art)パフォーマンスを実現している。 1つのコード編集タスク(すなわち、自動コードレビュー)では、CodeT5-small (60M)上で事前訓練されたDivoT5は、CodeT5-base (220M)よりも優れている。
• 参考スコア（独自算出の注目度）: 23.559074575821683
• License:
• Abstract: Code pre-trained models have shown promising effectiveness in various software engineering tasks. Among these tasks, many tasks are related to software evolution and/or code editing. However, existing code pre-trained models often overlook the real-world code editing data and the evolutionary nature of the editing process. In this paper, to simulate the step-by-step code editing process of human developers, we propose DivoT5, a pre-trained model based on directional diffusion at the data level. In DivoT5, we adopt two categories of pre-training tasks. The first category is mask and denoising tasks augmented with a diffusion direction representing code evolution. That is, we first apply a noising process to the code snippets before evolution, and then ask the pre-training process to restore the snippets with noise into the code snippets after evolution. The second category is tasks aiming to reinforce the evolutionary direction. That is, we first generate various intermediate versions for each pair of snippets before and after evolution, and then ask the pre-training process to transform the intermediate versions into the snippet after evolution for each pair. We evaluate DivoT5 for two code-editing scenarios and one non-editing scenario using five downstream tasks. Given each downstream task, we fine-tune the pre-trained DivoT5 to evaluate its effectiveness. Our experimental results show that DivoT5 achieves state-of-the-art (SOTA) performance on most tasks in comparison to models of the same scale (220M), large scale (770M) models in fine-tuning, and billion-scale (6.7B, 8B, ChatGPT) models in few-shot settings. For one code-editing task (i.e., automated code review), DivoT5 pre-trained on top of CodeT5-small (60M) can even outperform CodeT5-base (220M) and other pre-trained models with 220M parameters except for DivoT5 pre-trained on top of CodeT5-base (220M).
• Abstract（参考訳）: 事前訓練されたコードモデルは、様々なソフトウェアエンジニアリングタスクにおいて有望な効果を示している。 これらのタスクの中で、多くのタスクはソフトウェアの進化やコード編集に関係している。 しかし、既存のコード事前訓練モデルは、実際のコード編集データと編集プロセスの進化的な性質をしばしば見落としている。 本稿では,人間の開発者のステップ・バイ・ステップのコード編集プロセスをシミュレートするために,データレベルでの方向拡散に基づく事前学習モデルであるDivoT5を提案する。 DivoT5では、事前学習タスクの2つのカテゴリを採用しています。 第1のカテゴリは、コードの進化を表す拡散方向で強化されたタスクのマスクと装飾である。 つまり、まず進化の前にコードスニペットにノーミングプロセスを適用し、その後、進化後にコードスニペットにノイズのあるスニペットを復元するように事前トレーニングプロセスに要求します。 第2のカテゴリは、進化の方向性を強化することを目的としたタスクである。 すなわち、まず、進化の前後に各スニペットの様々な中間バージョンを生成し、その後、各スニペットの進化後に中間バージョンをスニペットに変換するための事前学習プロセスを依頼する。 5つの下流タスクを用いて2つのコード編集シナリオと1つの非編集シナリオについてDivoT5を評価する。 各下流タスクが与えられた場合、トレーニング済みのDivoT5を微調整して、その効果を評価します。 実験結果から,DivoT5は220Mモデル,770Mモデル,10億Bモデル(6.7B,8B,ChatGPT)モデルと比較し,ほとんどのタスクでSOTA(State-of-the-art)性能を実現していることがわかった。 1つのコード編集タスク(すなわち、自動コードレビュー)では、CodeT5-small (60M)の上に事前訓練されたDivoT5は、CodeT5-base (220M)上に事前訓練されたDivoT5を除いて、220Mパラメータを持つCodeT5-base(220M)や他の事前訓練されたモデルよりも優れている。

関連論文リスト

• Instruction Pre-Training: Language Models are Supervised Multitask Learners [115.95022434390181]
  本稿では,事前学習言語モデル(LM)に対して,命令応答対を用いた大規模生コーパスを付加するフレームワークを提案する。 実験では,40以上のタスクカテゴリをカバーする2億の命令応答ペアを合成し,インストラクション事前学習の有効性を検証する。
  論文  参考訳（メタデータ） (2024-06-20T16:55:33Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• CCT5: A Code-Change-Oriented Pre-Trained Model [14.225942520238936]
  我々は、ソフトウェアメンテナンスにおける開発者のサポートを改善するために、コード変更用に特別に設計されたモデルを事前訓練することを提案する。 まず、1.5M以上のコード変更とコミットメッセージのペアデータを含む大規模なデータセットを収集します。 トレーニング済みのモデルであるCCT5を、コードの変更とコードレビュープロセスに特有の2つのタスクによって引き起こされる3つの広範囲に分散したタスクで微調整する。
  論文  参考訳（メタデータ） (2023-05-18T07:55:37Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)
• Towards Efficient Fine-tuning of Pre-trained Code Models: An Experimental Study and Beyond [52.656743602538825]
  微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。 我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。 本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:34:13Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)
• Bridging Pre-trained Models and Downstream Tasks for Source Code Understanding [13.65914588243695]
  本稿では,事前学習されたモデルとコード関連タスクをブリッジする手法を提案する。 我々は、下流データの多様性を豊かにする意味保存変換を利用する。 本稿では,既存の事前学習モデルを微調整するために,変換されたデータを手軽に整理するためのカリキュラム学習を紹介する。
  論文  参考訳（メタデータ） (2021-12-04T07:21:28Z)
• EncT5: Fine-tuning T5 Encoder for Non-autoregressive Tasks [9.141586109808895]
  我々は、T5のような微調整済みのエンコーダデコーダモデルについて検討する。 実験の結果, T5 のパラメータの半分未満の textbfEncT5 は GLUE ベンチマークの T5 モデルと同様の性能を示した。
  論文  参考訳（メタデータ） (2021-10-16T00:50:08Z)
• Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers [57.931830650323]
  本稿では,事前学習および微調整型変圧器によるスケーリングの洞察について述べる。 モデルのサイズだけでなく、モデル形状が下流の微調整に重要であることを示す。 再設計したモデルにより、下流の微調整品質が向上する。
  論文  参考訳（メタデータ） (2021-09-22T12:29:15Z)
• Unsupervised Learning of General-Purpose Embeddings for Code Changes [6.652641137999891]
  事前学習中にコード変更の埋め込みを得る手法を提案する。 コードの変更とコミットメッセージ生成という、2つの異なる下流タスクでそれらを評価します。 本モデルでは,完全編集シーケンスを用いたモデルの精度を5.9ポイント向上させる。
  論文  参考訳（メタデータ） (2021-06-03T19:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。