論文の概要: Utilization of Pre-trained Language Model for Adapter-based Knowledge
Transfer in Software Engineering
- arxiv url: http://arxiv.org/abs/2307.08540v1
- Date: Mon, 17 Jul 2023 14:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 17:24:40.876219
- Title: Utilization of Pre-trained Language Model for Adapter-based Knowledge
Transfer in Software Engineering
- Title（参考訳）: ソフトウェア工学におけるアダプタベース知識伝達のための事前学習言語モデルの利用
- Authors: Iman Saberi, Fatemeh Fard and Fuxiang Chen
- Abstract要約: 事前訓練された言語モデル(PLM)は、大規模なコードコーパスで事前訓練される。
自然言語処理(NLP)では、PLMの知識を伝達する代替手段として、アダプタを用いて検討する。
本稿では,クローゼテスト,コードクローン検出,コード要約など,複数の下流タスクに対するアダプタを用いた知識伝達について検討する。
- 参考スコア（独自算出の注目度）: 0.3963827913892984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software Engineering (SE) Pre-trained Language Models (PLMs), such as
CodeBERT, are pre-trained on large code corpora, and their learned knowledge
has shown success in transferring into downstream tasks (e.g., code clone
detection) through fine-tuning the PLMs. In Natural Language Processing (NLP),
an alternative in transferring the knowledge of PLMs is explored through the
use of adapter, a compact and parameter efficient module that is inserted into
a PLM. Although the use of adapters has shown promising results in many
NLP-based downstream tasks, their application and exploration in SE-based
downstream tasks are limited.
Here, we study the knowledge transfer using adapters on multiple downstream
tasks including cloze test, code clone detection, and code summarization. These
adapters are trained on code corpora and are inserted into a PLM that is
pre-trained on English corpora or code corpora. We called these PLMs as NL-PLM
and C-PLM, respectively. We observed an improvement in results using NL-PLM
over a PLM that does not have adapters, and this suggested that adapters can
transfer and utilize useful knowledge from NL-PLM to SE tasks. The results are
sometimes on par with or exceed the results of C-PLM; while being more
efficient in terms of the number of parameters and training time.
Interestingly, adapters inserted into a C-PLM generally yield better results
than a traditional fine-tuned C-PLM. Our results open new directions to build
more compact models for SE tasks.
- Abstract（参考訳）: software engineering (se) pre-trained language model (plm) は、codebertのような大規模なコードコーパス上で事前学習されており、plmを微調整することで下流タスク(例えば、コードクローン検出)へ移行することに成功した。
自然言語処理(NLP)では、PLMに挿入されるコンパクトでパラメータ効率の良いモジュールであるアダプタを用いて、PLMの知識を伝達する代替手段を探索する。
アダプタの使用は多くのNLPベースのダウンストリームタスクにおいて有望な結果を示しているが、SEベースのダウンストリームタスクの応用と探索は限られている。
本稿では,クローゼテスト,コードクローン検出,コード要約など,複数の下流タスクに対するアダプタを用いた知識伝達について検討する。
これらのアダプタはコードコーパスでトレーニングされ、英語コーパスまたはコードコーパスで事前トレーニングされたplmに挿入される。
これらのPLMをNL-PLM, C-PLMと呼ぶ。
アダプタを持たないPLMに対してNL-PLMを用いることで,NL-PLMからSEタスクに有用な知識を変換し,活用できることが示唆された。
結果がc-plmの結果と同等かそれ以上になる場合があり、パラメータ数やトレーニング時間の観点からはより効率的である。
興味深いことに、C-PLMに挿入されたアダプタは、通常、従来の微調整されたC-PLMよりも良い結果をもたらす。
結果はSEタスクのためのよりコンパクトなモデルを構築するための新しい方向を開く。
関連論文リスト
- Leveraging Large Language Models for Wireless Symbol Detection via In-Context Learning [29.28683810366379]
本稿では,大規模言語モデル(LLM)の文脈内学習能力(即ち,プロンプト)を活用して,学習や微調整をすることなく,低データ体制下での無線タスクを解決することを提案する。
この結果から,ICL法によるLCMはシンボル復調作業において従来のDNNよりも優れていたことが判明した。
論文 参考訳（メタデータ） (2024-08-28T17:19:20Z) - Exploring and Unleashing the Power of Large Language Models in Automated Code Translation [40.25727029618665]
本稿では,自動翻訳タスクのための多種多様なLLMと学習ベーストランスパイラについて検討する。
UniTrans は、様々な LLM に適用可能な統一コード翻訳フレームワークである。
最近の3つのLLMはUniTransでテストされており、いずれも大幅に改善されている。
論文 参考訳（メタデータ） (2024-04-23T00:49:46Z) - CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。
まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。
また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
論文 参考訳（メタデータ） (2024-04-08T21:15:36Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-02-02T13:14:31Z) - Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large
Language Models [77.2078051555533]
大規模言語モデル(LLM)の有効なVL適応のための,新規で安価なソリューションを提案する。
画像エンコーダとLLMを接続するために大きなニューラルネットワークを使用する代わりに、MMAは軽量モジュール、すなわちアダプタを採用する。
MMAはまた、LLMがシングルモードとマルチモードの命令を自動シフトするのを助けるルーティングアルゴリズムも備えている。
論文 参考訳（メタデータ） (2023-05-24T11:06:15Z) - LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of
Large Language Models [75.25782573728677]
本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。
このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。
本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
論文 参考訳（メタデータ） (2023-04-04T16:31:37Z) - CHAPTER: Exploiting Convolutional Neural Network Adapters for
Self-supervised Speech Models [62.60723685118747]
自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。
特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。
特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
論文 参考訳（メタデータ） (2022-12-01T08:50:12Z) - Selective Token Generation for Few-shot Natural Language Generation [19.015739016376532]
我々は、強化学習(RL)に基づく新しい追加学習アルゴリズムを開発する。
提案した選択トークン生成法は, PLM に基づく従来の付加的学習アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2022-09-17T00:48:52Z) - KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。
知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。
計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
論文 参考訳（メタデータ） (2022-04-22T08:11:59Z) - On The Cross-Modal Transfer from Natural Language to Code through
Adapter Modules [0.0]
ソフトウェア工学におけるアダプタを用いた知識伝達について検討する。
C/C++、Python、Javaの3つのプログラミング言語が、アダプタに最適な設定に関する広範な実験とともに研究されている。
私たちの結果は、より小さなモデルを構築するための新しい方向を開くことができます。
論文 参考訳（メタデータ） (2022-04-19T04:18:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。