論文の概要: L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs
- arxiv url: http://arxiv.org/abs/2402.01643v1
- Date: Thu, 21 Dec 2023 01:47:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-11 17:15:35.123178
- Title: L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs
- Title(参考訳): L-TUNING:LLMにおけるプロンプトとプリフィックスのための同期ラベルチューニング
- Authors: Md. Kowsher, Md. Shohanur Islam Sobuj, Asif Mahmud, Nusrat Jahan
Prottasha and Prakash Bhat
- Abstract要約: 本稿では,自然言語推論(NLI)フレームワーク内での分類タスクの効率的な微調整手法であるL-Tuningを紹介する。
L-Tuningは、事前訓練されたLarge Language Models (LLM)を通して処理されるラベルトークンの微調整に焦点を当てている。
実験の結果,従来のアプローチと比較して,L-Tuningによる学習効率と分類精度が有意に向上したことが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Efficiently fine-tuning Large Language Models (LLMs) for specific tasks
presents a considerable challenge in natural language processing. Traditional
methods, like prompt or prefix tuning, typically rely on arbitrary tokens for
training, leading to prolonged training times and generalized token use across
various class labels. To address these issues, this paper introduces L-Tuning,
an efficient fine-tuning approach designed for classification tasks within the
Natural Language Inference (NLI) framework. Diverging from conventional
methods, L-Tuning focuses on the fine-tuning of label tokens processed through
a pre-trained LLM, thereby harnessing its pre-existing semantic knowledge. This
technique not only improves the fine-tuning accuracy and efficiency but also
facilitates the generation of distinct label embeddings for each class,
enhancing the model's training nuance. Our experimental results indicate a
significant improvement in training efficiency and classification accuracy with
L-Tuning compared to traditional approaches, marking a promising advancement in
fine-tuning LLMs for complex language tasks. \\ Code is available at:
\textcolor{red}{\href{https://github.com/Kowsher/L-Tuning}{\texttt{https://github.com/Kowsher/L-Tuning}}}.
- Abstract(参考訳): 特定のタスクを効率的に微調整するLarge Language Models (LLMs) は、自然言語処理において大きな課題となる。
プロンプトやプレフィックスチューニングのような従来のメソッドは通常、トレーニングのための任意のトークンに依存しており、トレーニング時間が長くなり、さまざまなクラスラベルで一般的なトークンが使用される。
これらの問題に対処するために,自然言語推論(NLI)フレームワーク内のタスクの分類を効率的に行うL-Tuningを提案する。
従来の手法と異なり、L-Tuningはラベルトークンの微調整に重点を置いており、既存の意味知識を活用している。
このテクニックは、微調整精度と効率を向上させるだけでなく、各クラスに個別のラベル埋め込みを生成し、モデルのトレーニングニュアンスを高める。
実験結果から,l-チューニングによる学習効率と分類精度は従来の手法と比較して有意に向上し,複雑な言語タスクにおけるllmの高精度化が期待できる。
以下のコードは \textcolor{red}{\href{https://github.com/kowsher/l-tuning}{\texttt{https://github.com/kowsher/l-tuning}}} で利用可能である。
関連論文リスト
- Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳(メタデータ) (2024-03-24T12:41:58Z) - Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。
能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。
私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
論文 参考訳(メタデータ) (2024-02-23T21:28:59Z) - ICL Markup: Structuring In-Context Learning using Soft-Token Tags [8.211752085441923]
大規模事前訓練言語モデル(LLM)は、テキストからテキストへのアプローチによって、幅広いタスクに迅速に適応することができる。
HTMLのようなマークアップ言語にインスパイアされた我々は、プロンプトテンプレートを構成するためにソフトトークンタグを使用する方法に貢献する。
本手法はICLのためのメタラーニングの一種であり,パラメータ効率の良い微調整ウォームアッププロセスにおいて,事前にこれらのタグを学習する。
論文 参考訳(メタデータ) (2023-12-12T16:25:05Z) - Noise-Robust Fine-Tuning of Pretrained Language Models via External
Guidance [61.809732058101304]
ノイズラベルを用いた微調整PLMの革新的な手法を提案する。
このアプローチにはChatGPTのようなLarge Language Models(LLM)のガイダンスが組み込まれている。
このガイダンスは、クリーンサンプルとノイズサンプルを正確に区別するのに役立つ。
論文 参考訳(メタデータ) (2023-11-02T09:20:38Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - Preference-grounded Token-level Guidance for Language Model Fine-tuning [105.88789610320426]
好みのある言語モデルを調整することは、自然言語生成において重要な問題である。
LMトレーニングでは、教師付きデータの量に基づいて、学習指導を利用する2つの「ミニマリスト*学習目標」を示す。
実験において,本手法は2つの異なるLMタスクに対して競合的に動作する。
論文 参考訳(メタデータ) (2023-06-01T07:00:07Z) - LABO: Towards Learning Optimal Label Regularization via Bi-level
Optimization [25.188067240126422]
ニューラルネットワークの一般化性能とトレーニング効率を向上させるためには,正規化技術が不可欠である。
本稿では、従来のLSを含むラベル正規化によるトレーニングのための一般的なフレームワークを提案するが、インスタンス固有の変種をモデル化することもできる。
本稿では,Bi-level Optimization (LABO) 問題を考案し,LAbel 正規化を効率的に学習する方法を提案する。
論文 参考訳(メタデータ) (2023-05-08T18:04:18Z) - Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM [31.25193238045053]
我々は、より小さな言語モデルの訓練を支援するために、大規模言語モデルの強力な生成力を利用する新しい手法、GenCoを導入する。
本手法では,LLMは2つの重要な方法で,より小さなモデルの自己学習ループにおいて重要な役割を果たす。
予測ラベルに条件付き入力テキストを書き換えることで、高品質なトレーニングペアの開発を支援する。
論文 参考訳(メタデータ) (2023-04-24T07:35:38Z) - Bridging the Gap between Language Models and Cross-Lingual Sequence
Labeling [101.74165219364264]
大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。
大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。
本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。
第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
論文 参考訳(メタデータ) (2022-04-11T15:55:20Z) - An Exploration of Prompt Tuning on Generative Spoken Language Model for
Speech Processing Tasks [112.1942546460814]
生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。
実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2022-03-31T03:26:55Z) - LICHEE: Improving Language Model Pre-training with Multi-grained
Tokenization [19.89228774074371]
本稿では,入力テキストの多粒度情報を効率的に組み込むための,シンプルで効果的な事前学習手法であるlicHEEを提案する。
本手法は,様々な事前学習言語モデルに適用でき,その表現能力を向上させることができる。
論文 参考訳(メタデータ) (2021-08-02T12:08:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。