Fugu-MT 論文翻訳(概要): L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs

論文の概要: L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs

arxiv url: http://arxiv.org/abs/2402.01643v2
Date: Sat, 13 Apr 2024 00:14:21 GMT
ステータス: 処理完了
システム内更新日: 2024-04-16 22:28:15.112303
Title: L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs
Title（参考訳）: L-TUNING:LLMにおけるプロンプトとプリフィックスのための同期ラベルチューニング
Authors: Md. Kowsher, Md. Shohanur Islam Sobuj, Asif Mahmud, Nusrat Jahan Prottasha, Prakash Bhat,
Abstract要約: 本稿では,自然言語推論(NLI)フレームワーク内での分類タスクの効率的な微調整手法であるL-Tuningを紹介する。 L-Tuningは、事前訓練されたLarge Language Models (LLM)を通して処理されるラベルトークンの微調整に焦点を当てている。実験の結果,従来のアプローチと比較して,L-Tuningによる学習効率と分類精度が有意に向上したことが示唆された。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Efficiently fine-tuning Large Language Models (LLMs) for specific tasks presents a considerable challenge in natural language processing. Traditional methods, like prompt or prefix tuning, typically rely on arbitrary tokens for training, leading to prolonged training times and generalized token use across various class labels. To address these issues, this paper introduces L-Tuning, an efficient fine-tuning approach designed for classification tasks within the Natural Language Inference (NLI) framework. Diverging from conventional methods, L-Tuning focuses on the fine-tuning of label tokens processed through a pre-trained LLM, thereby harnessing its pre-existing semantic knowledge. This technique not only improves the fine-tuning accuracy and efficiency but also facilitates the generation of distinct label embeddings for each class, enhancing the model's training nuance. Our experimental results indicate a significant improvement in training efficiency and classification accuracy with L-Tuning compared to traditional approaches, marking a promising advancement in fine-tuning LLMs for complex language tasks.
Abstract（参考訳）: 特定のタスクを効率的に微調整するLarge Language Models (LLMs) は、自然言語処理において大きな課題となる。プロンプトやプレフィックスのチューニングのような従来の手法は、訓練には任意のトークンを頼りにしており、長いトレーニング時間と様々なクラスラベルにまたがる一般化されたトークンの使用につながる。これらの問題に対処するために,自然言語推論(NLI)フレームワーク内のタスクの分類のために設計された,効率的な微調整手法であるL-Tuningを紹介する。従来の手法と異なり、L-Tuningはラベルトークンの微調整に重点を置いており、既存の意味知識を活用している。この技術は、微調整精度と効率を向上するだけでなく、各クラスに異なるラベルを埋め込み、モデルのトレーニングニュアンスを向上させる。実験結果から,L-Tuningによる学習効率と分類精度が従来の手法に比べて向上していることが示唆された。

関連論文リスト

Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
論文参考訳（メタデータ） (2024-10-22T17:45:47Z)
Parameter-Efficient Fine-Tuning of Large Language Models using Semantic Knowledge Tuning [0.08795040582681389]
大規模言語モデル (LLMs) は近年,プロンプトを用いた特殊タスクにおいて大きな人気を集めている。本稿では,ランダムトークンの代わりに有意な単語を用いたプロンプトおよびプレフィックスチューニングのためのセマンティック知識チューニング(SK-Tuning)を提案する。実験結果から,SK-Tuningは,テキスト分類や理解などのタスクにおいて,より高速なトレーニング時間,少ないパラメータ,優れたパフォーマンスを示すことがわかった。
論文参考訳（メタデータ） (2024-10-11T07:55:09Z)
SwitchCIT: Switching for Continual Instruction Tuning of Large Language Models [14.085371250265224]
大規模言語モデル(LLM)は、様々な領域、特に一般的な言語理解において印象的な能力を発揮している。しかし、これらのモデルは大量のテキストデータに基づいて訓練されており、命令によって引き起こされる特定のタスクに対して微妙に最適化されていないかもしれない。本研究は, LLMの連続的な命令学習において, パラメータ効率の高いチューニングモデルに演算をルーティングする切替機構を通じて, 破滅的な忘れに対処するものである。
論文参考訳（メタデータ） (2024-07-16T14:37:33Z)
Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
論文参考訳（メタデータ） (2024-06-20T18:35:47Z)
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-30T03:44:54Z)
Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文参考訳（メタデータ） (2024-03-24T12:41:58Z)
Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
論文参考訳（メタデータ） (2024-02-23T21:28:59Z)
Noise-Robust Fine-Tuning of Pretrained Language Models via External Guidance [61.809732058101304]
ノイズラベルを用いた微調整PLMの革新的な手法を提案する。このアプローチにはChatGPTのようなLarge Language Models(LLM)のガイダンスが組み込まれている。このガイダンスは、クリーンサンプルとノイズサンプルを正確に区別するのに役立つ。
論文参考訳（メタデータ） (2023-11-02T09:20:38Z)
LABO: Towards Learning Optimal Label Regularization via Bi-level Optimization [25.188067240126422]
ニューラルネットワークの一般化性能とトレーニング効率を向上させるためには,正規化技術が不可欠である。本稿では、従来のLSを含むラベル正規化によるトレーニングのための一般的なフレームワークを提案するが、インスタンス固有の変種をモデル化することもできる。本稿では,Bi-level Optimization (LABO) 問題を考案し,LAbel 正規化を効率的に学習する方法を提案する。
論文参考訳（メタデータ） (2023-05-08T18:04:18Z)
Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM [31.25193238045053]
我々は、より小さな言語モデルの訓練を支援するために、大規模言語モデルの強力な生成力を利用する新しい手法、GenCoを導入する。本手法では,LLMは2つの重要な方法で,より小さなモデルの自己学習ループにおいて重要な役割を果たす。予測ラベルに条件付き入力テキストを書き換えることで、高品質なトレーニングペアの開発を支援する。
論文参考訳（メタデータ） (2023-04-24T07:35:38Z)
Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
論文参考訳（メタデータ） (2022-04-11T15:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。