論文の概要: Empirical Studies of Parameter Efficient Methods for Large Language Models of Code and Knowledge Transfer to R
- arxiv url: http://arxiv.org/abs/2405.01553v1
- Date: Sat, 16 Mar 2024 03:12:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 11:09:59.133442
- Title: Empirical Studies of Parameter Efficient Methods for Large Language Models of Code and Knowledge Transfer to R
- Title（参考訳）: 大規模言語モデルのパラメータ効率的な方法とRへの知識伝達に関する実証的研究
- Authors: Amirreza Esmaeili, Iman Saberi, Fatemeh H. Fard,
- Abstract要約: 大きなLangauge Models(LLM)は、ソフトウェア工学(SE)コミュニティで注目を集めています。
本研究は,CodeT5 と CodeLlama 上で,PEFT法,LoRA と Compacter を実証研究する。
自然言語モデルからコードへの知識伝達や、学習した知識を目に見えない言語に適応させる能力について、完全に微調整されたモデルと比較して、それらの性能を評価する。
- 参考スコア（独自算出の注目度）: 1.9799527196428242
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, Large Langauge Models (LLMs) have gained a lot of attention in the Software Engineering (SE) community. LLMs or their variants pre-trained on code are used for many SE tasks. A main approach for adapting LLMs to the downstream task is to fine-tune the models. However, with having billions-parameters-LLMs, fine-tuning the models is not practical. An alternative approach is using Parameter Efficient Fine Tuning (PEFT), in which the model parameters are frozen and only a few added parameters are trained. Though the LLMs are used for programming languages such as Python and Java widely, their capability for low-resource languages is limited. In this work, we empirically study PEFT methods, LoRA and Compacter, on CodeT5 and CodeLlama. We will assess their performance compared to fully fine-tuned models, whether they can be used for knowledge transfer from natural language models to code (using T5 and Llama models), and their ability to adapt the learned knowledge to an unseen language. For the unseen language, we aim to study R, as it has a wide community. The adaptability with less computational costs makes LLMs accessible in scenarios where heavy computational resources are not available. Moreover, studying R opens new opportunities for using LLMs for other languages. We anticipate our findings to showcase the capabilities of PEFT for code LLMs for R and reveal the improvement areas.
- Abstract（参考訳）: 最近、Large Langauge Models (LLM) はSoftware Engineering (SE) コミュニティで注目を集めています。
コード上で事前訓練されたLLMまたはそれらの変種は、多くのSEタスクに使用される。
LLMを下流タスクに適用するための主要なアプローチは、モデルを微調整することである。
しかし、数十億のパラメーター-LLMを持つため、モデルの微調整は実用的ではない。
別のアプローチとしてパラメータ効率の良いファインチューニング(PEFT)があり、モデルパラメータは凍結され、いくつかの追加パラメータしか訓練されない。
LLMはPythonやJavaなどのプログラミング言語で広く使われているが、低リソース言語の能力は限られている。
本研究は,CodeT5 と CodeLlama 上で,PEFT法,LoRA と Compacter を実証研究する。
自然言語モデルからコードへの知識伝達(T5およびLlamaモデル)や、学習した知識を目に見えない言語に適応させる能力など、完全に微調整されたモデルと比較して、それらの性能を評価する。
目に見えない言語については、広いコミュニティを持つため、Rの研究を目標としています。
計算コストの少ない適応性により、LLMは重い計算資源が利用できないシナリオで利用できるようになる。
さらに、Rを研究することで、他の言語でLLMを使用する新たな機会が開かれる。
我々は,R 用コード LLM のPEFT の能力を実証し,改善領域を明らかにすることを期待する。
関連論文リスト
- Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。
低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。
本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
論文 参考訳（メタデータ） (2025-01-31T12:23:28Z) - A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Method-Level Code Smell Detection [11.9757082688031]
既存の検出手法は、コードまたは機械学習(ML)とディープラーニング(DL)技術に依存しており、しばしば不満足なパフォーマンスのような制限に直面している。
本研究では,2種類のメソッドレベルのコードの臭いを検出するために,小・大規模言語モデルを用いたPEFT手法の評価を行った。
その結果,PEFT法はGPUメモリの消費を減らしながら,フル微調整よりも同等あるいは優れた性能が得られることがわかった。
論文 参考訳（メタデータ） (2024-12-18T12:48:36Z) - KaSA: Knowledge-Aware Singular-Value Adaptation of Large Language Models [11.07333593086842]
知識認識型特異値適応(KaSA)
本稿では,知識認識特異値を用いた特異値分解(SVD)を利用したPEFT手法である知識認識特異値適応(KaSA)を導入し,その課題との関連性に基づいて,知識を動的に活性化する。
実験の結果、KaSAは16のベンチマークと4つの合成データセットでFFTと14のPEFTベースラインを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2024-12-08T21:26:22Z) - Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study [3.5189934649278922]
GitHub Copilotのような大規模言語モデル(LLM)は、微調整なしで現実世界のタスクに苦労する。
本稿では,LoRA, (IA)3, およびプロンプトチューニングを含む各種PEFT法について検討する。
その結果,PEFT法は単体テスト生成のための完全微調整に匹敵する性能が得られることがわかった。
論文 参考訳（メタデータ） (2024-11-04T09:03:18Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-08-15T16:45:16Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z) - Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models:
A Critical Review and Assessment [12.674032145667763]
本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。
PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。
パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
論文 参考訳（メタデータ） (2023-12-19T13:31:24Z) - Retrieval-based Knowledge Transfer: An Effective Approach for Extreme
Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。
しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。
本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文 参考訳（メタデータ） (2023-10-24T07:58:20Z) - Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。
本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
論文 参考訳（メタデータ） (2023-08-21T04:31:06Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳（メタデータ） (2023-05-28T13:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。