論文の概要: Parameter-Efficient Fine-Tuning of Large Language Models using Semantic Knowledge Tuning
- arxiv url: http://arxiv.org/abs/2410.08598v1
- Date: Fri, 11 Oct 2024 07:55:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 23:04:57.347517
- Title: Parameter-Efficient Fine-Tuning of Large Language Models using Semantic Knowledge Tuning
- Title（参考訳）: 意味的知識チューニングを用いた大規模言語モデルのパラメータ効率の良い微調整
- Authors: Nusrat Jahan Prottasha, Asif Mahmud, Md. Shohanur Islam Sobuj, Prakash Bhat, Md Kowsher, Niloofar Yousefi, Ozlem Ozmen Garibay,
- Abstract要約: 大規模言語モデル (LLMs) は近年,プロンプトを用いた特殊タスクにおいて大きな人気を集めている。
本稿では,ランダムトークンの代わりに有意な単語を用いたプロンプトおよびプレフィックスチューニングのためのセマンティック知識チューニング(SK-Tuning)を提案する。
実験結果から,SK-Tuningは,テキスト分類や理解などのタスクにおいて,より高速なトレーニング時間,少ないパラメータ,優れたパフォーマンスを示すことがわかった。
- 参考スコア（独自算出の注目度）: 0.08795040582681389
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are gaining significant popularity in recent years for specialized tasks using prompts due to their low computational cost. Standard methods like prefix tuning utilize special, modifiable tokens that lack semantic meaning and require extensive training for best performance, often falling short. In this context, we propose a novel method called Semantic Knowledge Tuning (SK-Tuning) for prompt and prefix tuning that employs meaningful words instead of random tokens. This method involves using a fixed LLM to understand and process the semantic content of the prompt through zero-shot capabilities. Following this, it integrates the processed prompt with the input text to improve the model's performance on particular tasks. Our experimental results show that SK-Tuning exhibits faster training times, fewer parameters, and superior performance on tasks such as text classification and understanding compared to other tuning methods. This approach offers a promising method for optimizing the efficiency and effectiveness of LLMs in processing language tasks.
- Abstract（参考訳）: 大規模言語モデル (LLM) は, 計算コストの低さから, プロンプトを用いた特殊タスクにおいて近年顕著に普及している。
接頭辞のチューニングのような標準的な方法は、意味を欠いた特別な変更可能なトークンを使用し、しばしば不足する、最高のパフォーマンスのための広範なトレーニングを必要とする。
そこで本研究では,ランダムトークンの代わりに有意な単語を用いるプロンプトおよびプレフィックスチューニングのための,セマンティック知識チューニング(SK-Tuning)と呼ばれる新しい手法を提案する。
この方法は、固定LLMを使用して、ゼロショット機能を通じてプロンプトの意味的内容を理解し、処理する。
これに続いて、処理されたプロンプトと入力テキストを統合して、特定のタスクにおけるモデルの性能を改善する。
実験の結果,SK-Tuningはテキスト分類や理解などのタスクにおいて,他のチューニング手法と比較して,学習時間やパラメータの少ない,優れたパフォーマンスを示すことがわかった。
このアプローチは、言語タスクの処理におけるLLMの効率性と有効性を最適化するための有望な方法を提供する。
関連論文リスト
- Large Language Models Prompting With Episodic Memory [53.8690170372303]
本稿では,POEM(PrOmpting with Episodic Memory)を提案する。
テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。
その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
論文 参考訳（メタデータ） (2024-08-14T11:19:28Z) - Skeleton: A New Framework for Accelerating Language Models via Task Neuron Localized Prompt Tuning [15.695487920048816]
メモリと時間の複雑さの観点から,言語モデルを効率的に活用するための,Skeletonと呼ばれる新しいプロンプトチューニングフレームワークを提案する。
提案手法は, 様々なベンチマークにおいて, 推論効率を著しく向上させる(ほとんどの x 1.73 高速化)。
論文 参考訳（メタデータ） (2024-04-18T05:43:50Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳（メタデータ） (2024-04-01T12:19:08Z) - L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs [0.0]
本稿では,自然言語推論(NLI)フレームワーク内での分類タスクの効率的な微調整手法であるL-Tuningを紹介する。
L-Tuningは、事前訓練されたLarge Language Models (LLM)を通して処理されるラベルトークンの微調整に焦点を当てている。
実験の結果,従来のアプローチと比較して,L-Tuningによる学習効率と分類精度が有意に向上したことが示唆された。
論文 参考訳（メタデータ） (2023-12-21T01:47:49Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳（メタデータ） (2022-11-21T22:38:20Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳（メタデータ） (2022-06-04T10:08:50Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳（メタデータ） (2022-05-11T17:10:41Z) - Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。
UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。
また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
論文 参考訳（メタデータ） (2022-05-11T07:40:45Z) - Making Pre-trained Language Models End-to-end Few-shot Learners with
Contrastive Prompt Tuning [41.15017636192417]
CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。
完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。
IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-04-01T02:24:24Z) - An Exploration of Prompt Tuning on Generative Spoken Language Model for
Speech Processing Tasks [112.1942546460814]
生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。
実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2022-03-31T03:26:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。