論文の概要: Utilization of Pre-trained Language Model for Adapter-based Knowledge Transfer in Software Engineering

• arxiv url: http://arxiv.org/abs/2307.08540v2
• Date: Tue, 6 Feb 2024 08:03:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 20:39:32.842357
• Title: Utilization of Pre-trained Language Model for Adapter-based Knowledge Transfer in Software Engineering
• Title（参考訳）: ソフトウェア工学におけるアダプタベース知識伝達のための事前学習言語モデルの利用
• Authors: Iman Saberi, Fatemeh Fard and Fuxiang Chen
• Abstract要約: 本稿では,クローゼテスト,コードクローン検出,コード要約など,複数の下流タスクに対するアダプタを用いた知識伝達について検討する。 アダプタはコードコーパスでトレーニングされ、英語コーパスまたはコードコーパスで事前トレーニングされたPLMに挿入される。 アダプタを持たないPLMに対してNL-PLMを用いることで,NL-PLMからSEタスクに有用な知識を変換し,活用できることが示唆された。
• 参考スコア（独自算出の注目度）: 0.3963827913892984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software Engineering (SE) Pre-trained Language Models (PLMs), such as CodeBERT, are pre-trained on large code corpora, and their learned knowledge has shown success in transferring into downstream tasks (e.g., code clone detection) through the fine-tuning of PLMs. In Natural Language Processing (NLP), an alternative in transferring the knowledge of PLMs is explored through the use of adapter, a compact and parameter efficient module that is inserted into a PLM. Although the use of adapters has shown promising results in many NLP-based downstream tasks, their application and exploration in SE-based downstream tasks are limited. Here, we study the knowledge transfer using adapters on multiple down-stream tasks including cloze test, code clone detection, and code summarization. These adapters are trained on code corpora and are inserted into a PLM that is pre-trained on English corpora or code corpora. We called these PLMs as NL-PLM and C-PLM, respectively. We observed an improvement in results using NL-PLM over a PLM that does not have adapters, and this suggested that adapters can transfer and utilize useful knowledge from NL-PLM to SE tasks. The results are sometimes on par with or exceed the results of C-PLM; while being more efficient in terms of the number of parameters and training time. Interestingly, adapters inserted into a C-PLM generally yield better results than a traditional fine-tuned C-PLM. Our results open new directions to build more compact models for SE tasks.
• Abstract（参考訳）: software engineering (se) pre-trained language model (plm) は、codebertのような大規模なコードコーパス上で事前学習されており、plmの微調整を通じて下流タスク(例えば、コードクローン検出)へ移行することに成功した。 自然言語処理(NLP)では、PLMに挿入されるコンパクトでパラメータ効率の良いモジュールであるアダプタを用いて、PLMの知識を伝達する代替手段を探索する。 アダプタの使用は多くのNLPベースのダウンストリームタスクにおいて有望な結果を示しているが、SEベースのダウンストリームタスクの応用と探索は限られている。 本稿では,クローゼテスト,コードクローン検出,コード要約など,複数の下流タスクに対するアダプタを用いた知識伝達について検討する。 これらのアダプタはコードコーパスでトレーニングされ、英語コーパスまたはコードコーパスで事前トレーニングされたplmに挿入される。 これらのPLMをNL-PLM, C-PLMと呼ぶ。 アダプタを持たないPLMに対してNL-PLMを用いることで,NL-PLMからSEタスクに有用な知識を変換し,活用できることが示唆された。 結果がc-plmの結果と同等かそれ以上になる場合があり、パラメータ数やトレーニング時間の観点からはより効率的である。 興味深いことに、C-PLMに挿入されたアダプタは、通常、従来の微調整されたC-PLMよりも良い結果をもたらす。 結果はSEタスクのためのよりコンパクトなモデルを構築するための新しい方向を開く。

関連論文リスト

• Skip Tuning: Pre-trained Vision-Language Models are Effective and Efficient Adapters Themselves [123.07450481623124]
  下流タスクに視覚言語モデルを適用するための新しいパラダイムとして,Skip Tuningを提案する。 既存のPTやアダプタベースの方法とは異なり、Skip Tuningは追加のコンテキストベクトルやアダプタモジュールを導入することなく、FTベースラインにLayer-wise Skipping(LSkip)とClass-wise Skipping(CSkip)を適用する。
  論文  参考訳（メタデータ） (2024-12-16T07:33:23Z)
• Leveraging Large Language Models for Wireless Symbol Detection via In-Context Learning [29.28683810366379]
  本稿では,大規模言語モデル(LLM)の文脈内学習能力(即ち,プロンプト)を活用して,学習や微調整をすることなく,低データ体制下での無線タスクを解決することを提案する。 この結果から,ICL法によるLCMはシンボル復調作業において従来のDNNよりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-08-28T17:19:20Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models [77.2078051555533]
  大規模言語モデル(LLM)の有効なVL適応のための,新規で安価なソリューションを提案する。 画像エンコーダとLLMを接続するために大きなニューラルネットワークを使用する代わりに、MMAは軽量モジュール、すなわちアダプタを採用する。 MMAはまた、LLMがシングルモードとマルチモードの命令を自動シフトするのを助けるルーティングアルゴリズムも備えている。
  論文  参考訳（メタデータ） (2023-05-24T11:06:15Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)
• Selective Token Generation for Few-shot Natural Language Generation [19.015739016376532]
  我々は、強化学習(RL)に基づく新しい追加学習アルゴリズムを開発する。 提案した選択トークン生成法は, PLM に基づく従来の付加的学習アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-17T00:48:52Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)
• On The Cross-Modal Transfer from Natural Language to Code through Adapter Modules [0.0]
  ソフトウェア工学におけるアダプタを用いた知識伝達について検討する。 C/C++、Python、Javaの3つのプログラミング言語が、アダプタに最適な設定に関する広範な実験とともに研究されている。 私たちの結果は、より小さなモデルを構築するための新しい方向を開くことができます。
  論文  参考訳（メタデータ） (2022-04-19T04:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。