論文の概要: Automating Code-Related Tasks Through Transformers: The Impact of Pre-training

• arxiv url: http://arxiv.org/abs/2302.04048v1
• Date: Wed, 8 Feb 2023 13:37:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 16:19:12.060476
• Title: Automating Code-Related Tasks Through Transformers: The Impact of Pre-training
• Title（参考訳）: トランスフォーマーによるコード関連タスクの自動化:事前学習の影響
• Authors: Rosalia Tufano, Luca Pascarella, Gabriele Bavota
• Abstract要約: コード関連タスクの自動化において,事前学習対象が変圧器の性能に及ぼす影響について検討する。 i)ソフトウェア工学(SE)の文献に通常採用される汎用的な事前学習目標と,(ii)特定のコード関連タスクに適した事前学習目標の両方を用いて,32の変圧器を事前訓練する。
• 参考スコア（独自算出の注目度）: 15.129062963782005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have gained popularity in the software engineering (SE) literature. These deep learning models are usually pre-trained through a self-supervised objective, meant to provide the model with basic knowledge about a language of interest (e.g., Java). A classic pre-training objective is the masked language model (MLM), in which a percentage of tokens from the input (e.g., a Java method) is masked, with the model in charge of predicting them. Once pre-trained, the model is then fine-tuned to support the specific downstream task of interest (e.g., code summarization). While there is evidence suggesting the boost in performance provided by pre-training, little is known about the impact of the specific pre-training objective(s) used. Indeed, MLM is just one of the possible pre-training objectives and recent work from the natural language processing field suggest that pre-training objectives tailored for the specific downstream task of interest may substantially boost the model's performance. In this study, we focus on the impact of pre-training objectives on the performance of transformers when automating code-related tasks. We start with a systematic literature review aimed at identifying the pre-training objectives used in SE. Then, we pre-train 32 transformers using both (i) generic pre-training objectives usually adopted in SE; and (ii) pre-training objectives tailored to specific code-related tasks subject of our experimentation, namely bug-fixing, code summarization, and code completion. We also compare the pre-trained models with non pre-trained ones. Our results show that: (i) pre-training helps in boosting performance only if the amount of fine-tuning data available is small; (ii) the MLM objective is usually sufficient to maximize the prediction performance of the model, even when comparing it with pre-training objectives specialized for the downstream task at hand.
• Abstract（参考訳）: トランスフォーマーは、ソフトウェア工学(SE)文学で人気を博している。 これらのディープラーニングモデルは、通常、自制的な目的を通じて事前訓練され、関心のある言語(例えばJava)に関する基本的な知識をモデルに提供する。 古典的な事前学習の対象は、入力(例えば、Javaメソッド)からのトークンのパーセンテージをマスクし、予測を行うモデルであるマスメッド言語モデル(MLM)である。 一度事前訓練すると、モデルは特定の下流タスク(例えばコード要約)をサポートするように微調整される。 事前トレーニングによるパフォーマンスの向上を示す証拠はあるが、特定の事前トレーニング目的が与えた影響についてはほとんど知られていない。 実際、MLMは事前学習対象の1つに過ぎず、近年の自然言語処理分野の研究から、特定の下流タスクに適した事前学習対象がモデルの性能を大幅に向上させる可能性が示唆されている。 本研究では,事前学習目標がコード関連タスクの自動化におけるトランスフォーマーの性能に与える影響に注目した。 まず,seにおける事前学習目標の同定を目的とした体系的文献レビューから始める。 次に,両変圧器を用いた32列車前変圧器について検討する。 (i)通常seで採用される総合的事前訓練目標 2) 実験対象の特定のコード関連タスク,すなわちバグフィックス,コードの要約,コード補完に適した事前学習目標。 また,事前学習モデルと事前学習モデルとの比較を行った。 結果はこう示しています (i)事前訓練は、利用可能な微調整データの量が少ない場合に限り、性能の向上に資する。 (ii)mlm目標は通常,下流課題に特化した事前学習目標と比較しても,モデルの予測性能を最大化するのに十分である。

関連論文リスト

• How Effective is Pre-training of Large Masked Autoencoders for Downstream Earth Observation Tasks? [9.515532265294187]
  自己教師付き事前訓練は多くのコンピュータビジョンタスクに非常に効果的であることが証明されている。 事前訓練されたモデルがスクラッチからトレーニングするよりも大きなアドバンテージを提供する条件は、まだ不明である。
  論文  参考訳（メタデータ） (2024-09-27T08:15:14Z)
• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Revisit Few-shot Intent Classification with PLMs: Direct Fine-tuning vs. Continual Pre-training [20.98770732015944]
  少量のラベル付きデータのみを使用して、基礎となる意図に基づいて発話を分類するために、深層学習モデルを訓練する。 この課題に対するPLMの過度な適合問題は、予想されるほど深刻ではないため、継続事前学習は必須ではない可能性がある。 限られた利用可能なデータの利用を最大化するために,コンテキスト拡張法を提案し,逐次自己蒸留を利用して性能を向上させる。
  論文  参考訳（メタデータ） (2023-06-08T15:26:52Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Masked Autoencoders As The Unified Learners For Pre-Trained Sentence Representation [77.47617360812023]
  我々は、最近提案されたMAEスタイルの事前学習戦略であるRetroMAEを拡張し、幅広い文表現タスクをサポートする。 最初のステージでは、ベースモデルが学習されるWikipedia、BookCorpusなど、一般的なコーパス上でRetroMAEを実行する。 第2段階はドメイン固有のデータ、例えばMS MARCOやNLIで行われ、ベースモデルはRetroMAEとコントラスト学習に基づいて継続的に訓練される。
  論文  参考訳（メタデータ） (2022-07-30T14:34:55Z)
• Frustratingly Simple Pretraining Alternatives to Masked Language Modeling [10.732163031244651]
  Masked Language Modeling (MLM) は自然言語処理においてテキスト表現の学習に広く用いられている。 本稿では,トークンレベルの分類タスクを表現の代替として用いた5つの簡単な事前学習目標について検討する。
  論文  参考訳（メタデータ） (2021-09-04T08:52:37Z)
• Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks [40.97125791174191]
  ラベルのないテキストから大規模でリッチなメタ学習タスク分布を生成するための自己教師型手法を提案する。 このメタトレーニングは、言語モデル事前学習の後に微調整を行うよりも、数ショットの一般化に繋がることを示す。
  論文  参考訳（メタデータ） (2020-09-17T17:53:59Z)
• Task-specific Objectives of Pre-trained Language Models for Dialogue Adaptation [79.0866650271659]
  PrLMを利用する一般的なプロセスは、まずタスク非依存のLMトレーニング目標を持つ大規模汎用コーパス上で事前トレーニングを行い、タスク固有のトレーニング目標を持つタスクデータセットを微調整する。 タスク固有の目的を持つドメイン内タスク関連コーパスにタスク固有の事前学習を導入する。 この手順は、特定のタスクのモデル理解能力を高めるために、元の2つのステージの間に置かれる。
  論文  参考訳（メタデータ） (2020-09-10T16:46:46Z)
• Train No Evil: Selective Masking for Task-Guided Pre-Training [97.03615486457065]
  一般的な事前学習と微調整の間を選択的にマスキングするタスク誘導事前学習段階を付加した3段階のフレームワークを提案する。 提案手法は,50%未満のコストで同等あるいはさらに優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T03:14:22Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。