論文の概要: On the Usage of Continual Learning for Out-of-Distribution Generalization in Pre-trained Language Models of Code

• arxiv url: http://arxiv.org/abs/2305.04106v2
• Date: Tue, 22 Aug 2023 14:10:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 14:47:15.991615
• Title: On the Usage of Continual Learning for Out-of-Distribution Generalization in Pre-trained Language Models of Code
• Title（参考訳）: 事前学習されたコード言語モデルにおける分散一般化のための連続学習の利用について
• Authors: Martin Weyssow, Xin Zhou, Kisub Kim, David Lo and Houari Sahraoui
• Abstract要約: 事前学習型言語モデル(PLM)は、コードの深層学習において一般的な技術となっている。 本稿では,APIコールとAPI利用予測という2つの下流タスクで広く利用されているPLMアーキテクチャについて検討する。 これらの課題に対処するため,リプレイベースおよび正規化ベースの手法を含む5つの連続学習手法を実装した。
• 参考スコア（独自算出の注目度）: 12.708117108874083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models (PLMs) have become a prevalent technique in deep learning for code, utilizing a two-stage pre-training and fine-tuning procedure to acquire general knowledge about code and specialize in a variety of downstream tasks. However, the dynamic nature of software codebases poses a challenge to the effectiveness and robustness of PLMs. In particular, world-realistic scenarios potentially lead to significant differences between the distribution of the pre-training and test data, i.e., distribution shift, resulting in a degradation of the PLM's performance on downstream tasks. In this paper, we stress the need for adapting PLMs of code to software data whose distribution changes over time, a crucial problem that has been overlooked in previous works. The motivation of this work is to consider the PLM in a non-stationary environment, where fine-tuning data evolves over time according to a software evolution scenario. Specifically, we design a scenario where the model needs to learn from a stream of programs containing new, unseen APIs over time. We study two widely used PLM architectures, i.e., a GPT2 decoder and a RoBERTa encoder, on two downstream tasks, API call and API usage prediction. We demonstrate that the most commonly used fine-tuning technique from prior work is not robust enough to handle the dynamic nature of APIs, leading to the loss of previously acquired knowledge i.e., catastrophic forgetting. To address these issues, we implement five continual learning approaches, including replay-based and regularization-based methods. Our findings demonstrate that utilizing these straightforward methods effectively mitigates catastrophic forgetting in PLMs across both downstream tasks while achieving comparable or superior performance.
• Abstract（参考訳）: 事前学習型言語モデル (PLM) は、2段階の事前学習と微調整の手法を利用して、コードに関する一般的な知識を取得し、様々な下流タスクを専門化する。 しかし、ソフトウェアコードベースの動的な性質は、plmの有効性と堅牢性に挑戦する。 特に、現実的なシナリオでは、事前トレーニングとテストデータの分散、すなわち分散シフトの間に大きな違いが生じ、下流タスクにおけるPLMのパフォーマンスが低下する可能性がある。 本稿では,時間とともに分散が変化するソフトウェアデータにコードのPLMを適用することの必要性を強調する。 この研究の動機は、ソフトウェア進化シナリオに従って微調整データが時間とともに進化する非定常環境におけるPLMを考えることである。 具体的には、新しい、目に見えないAPIを含むプログラムのストリームからモデルを学習する必要があるシナリオを設計する。 GPT2デコーダとRoBERTaエンコーダという2つの広く使われているPLMアーキテクチャを,APIコールとAPI使用率予測という2つの下流タスクで検討した。 先行研究で最も一般的に使用される微調整テクニックは,apiの動的な性質を扱うのに十分な堅牢性がないため,事前に獲得した知識,すなわち破滅的な忘れ方を失うことを実証する。 これらの課題に対処するため,リプレイベースおよび正規化ベースの手法を含む5つの連続学習手法を実装した。 以上より,これらの簡易な手法を用いることで,下流タスクにおけるplmの破壊的欠落を効果的に軽減し,同等あるいは優れた性能を実現できることを示す。

関連論文リスト

• T4P: Test-Time Training of Trajectory Prediction via Masked Autoencoder and Actor-specific Token Memory [39.021321011792786]
  軌道予測は、複数のアクター間の相互作用を考慮することを必要とする難しい問題である。 データ駆動型アプローチは、この複雑な問題に対処するために使われてきたが、テスト期間中に分散シフトの下では信頼性の低い予測に悩まされている。 本研究では,観測データから回帰損失を用いたオンライン学習手法を提案する。 提案手法は,予測精度と計算効率の両方の観点から,既存の最先端オンライン学習手法の性能を超越した手法である。
  論文  参考訳（メタデータ） (2024-03-15T06:47:14Z)
• Learn or Recall? Revisiting Incremental Learning with Pre-trained Language Models [21.95081572612883]
  殆どの人は、破滅的な忘れが優れたIL性能を達成するための最大の障害であると仮定している。 PLMを用いたILのためのSEQ*と呼ばれるフラストレーションに簡単な手法を提案する。 その結果,SEQ* は最先端 (SOTA) IL 法と比較して,競争力や性能に優れていた。
  論文  参考訳（メタデータ） (2023-12-13T04:14:22Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Revisit Few-shot Intent Classification with PLMs: Direct Fine-tuning vs. Continual Pre-training [20.98770732015944]
  少量のラベル付きデータのみを使用して、基礎となる意図に基づいて発話を分類するために、深層学習モデルを訓練する。 この課題に対するPLMの過度な適合問題は、予想されるほど深刻ではないため、継続事前学習は必須ではない可能性がある。 限られた利用可能なデータの利用を最大化するために,コンテキスト拡張法を提案し,逐次自己蒸留を利用して性能を向上させる。
  論文  参考訳（メタデータ） (2023-06-08T15:26:52Z)
• Task-Guided IRL in POMDPs that Scales [22.594913269327353]
  逆線形強化学習(IRL)では、学習エージェントは、専門家のデモンストレーションを用いて、基礎となるタスクをコードする報酬関数を推論する。 ほとんどのIRL技術は、POMDPの計算前方問題(報酬関数を与えられた最適ポリシーを計算)を必要とする。 我々は,データ効率を向上しながら,情報量を削減するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-12-30T21:08:57Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows [58.762959061522736]
  オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。 我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。 提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
  論文  参考訳（メタデータ） (2022-11-20T21:57:10Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• ELLE: Efficient Lifelong Pre-training for Emerging Data [91.52652408402815]
  現在の訓練済み言語モデル(PLM)は、静的なデータでトレーニングされるが、現実のシナリオでは、様々なソースのストリーミングデータが継続的に成長する可能性がある。 新興データに対する効率的な生涯事前学習を目的としたELLEを提案する。 ELLEは,(1)既存のPLMの幅と深さを柔軟に拡張して知識獲得の効率を向上する機能保持モデル展開と,(2)事前学習時に学習した多目的知識を混乱させ,下流タスクの適切な知識を刺激する事前学習ドメインプロンプトから構成される。
  論文  参考訳（メタデータ） (2022-03-12T01:53:53Z)
• Lifelong Pretraining: Continually Adapting Language Models to Emerging Corpora [31.136334214818305]
  本稿では,PTLMが更新され続けている言語モデル事前学習課題について検討する。 ドメインインクリメンタルな研究論文ストリームと時系列に順序付けられたつぶやきストリームを通じて、PTLMを異なる連続学習アルゴリズムで段階的に事前訓練する。 本実験は,ロジット蒸留を最も効果的に行うことにより,学習アルゴリズムが知識保存を改善することを示す。
  論文  参考訳（メタデータ） (2021-10-16T09:59:33Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。