論文の概要: Token-Efficient Leverage Learning in Large Language Models
- arxiv url: http://arxiv.org/abs/2404.00914v1
- Date: Mon, 1 Apr 2024 04:39:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 23:26:11.491246
- Title: Token-Efficient Leverage Learning in Large Language Models
- Title(参考訳): 大規模言語モデルにおけるToken-Efficient Leverage Learning
- Authors: Yuanhao Zeng, Min Wang, Yihang Wang, Yingxia Shao,
- Abstract要約: 大規模言語モデル(LLM)は様々なタスクで優れていますが、高リソースのシナリオではより良く機能しています。
データ不足と特定のタスクにLLMを適用することの難しさは、この課題を複雑にしている。
本稿では,Token-Efficient Leverage Learning (TELL) と呼ばれる方法論の合理化実装を提案する。
- 参考スコア(独自算出の注目度): 13.830828529873056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have excelled in various tasks but perform better in high-resource scenarios, which presents challenges in low-resource scenarios. Data scarcity and the inherent difficulty of adapting LLMs to specific tasks compound the challenge. To address the twin hurdles, we introduce \textbf{Leverage Learning}. We present a streamlined implement of this methodology called Token-Efficient Leverage Learning (TELL). TELL showcases the potential of Leverage Learning, demonstrating effectiveness across various LLMs and low-resource tasks, ranging from $10^4$ to $10^6$ tokens. It reduces task data requirements by up to nearly an order of magnitude compared to conventional Supervised Fine-Tuning (SFT) while delivering competitive performance. With the same amount of task data, TELL leads in improving task performance compared to SFT. We discuss the mechanism of Leverage Learning, suggesting it aligns with quantization hypothesis and explore its promising potential through empirical testing.
- Abstract(参考訳): LLM(Large Language Models)は様々なタスクで優れていますが、低リソースのシナリオではより優れたパフォーマンスを実現しています。
データ不足と特定のタスクにLLMを適用することの難しさは、この課題を複雑にしている。
双対のハードルに対処するために、 \textbf{Leverage Learning}を紹介する。
本稿では,Token-Efficient Leverage Learning (TELL)と呼ばれる方法論の合理化実装を提案する。
TELLはLevanage Learningの可能性を示し、さまざまなLLMと低リソースタスクにまたがって、10^4$から10^6$トークンの有効性を実証している。
従来のSupervised Fine-Tuning (SFT)と比較して、競争力のあるパフォーマンスを提供しながら、タスクデータ要求を最大で1桁削減する。
同じタスクデータで、TELLはSFTと比較してタスクパフォーマンスを向上させる。
本稿では,レバレッジ学習のメカニズムについて論じるとともに,量子化仮説と整合し,実証実験を通じて有望なポテンシャルを探求することを提案する。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Online Cascade Learning for Efficient Inference over Streams [10.209413593540134]
大規模言語モデル(LLM)は、データストリームに関する複雑なクエリに応答する自然な役割を持つ。
この課題に対処する最初のアプローチであるオンラインカスケード学習を提案する。
我々は,オンラインのカスケードを模倣学習問題として学習するタスクを定式化し,その問題に対する非回帰アルゴリズムを提供する。
論文 参考訳(メタデータ) (2024-02-07T01:46:50Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳(メタデータ) (2023-03-09T06:24:50Z) - Model-Agnostic Meta-Learning for Natural Language Understanding Tasks in
Finance [1.863067234952186]
低リソースの財務NLUタスクにおけるモデルに依存しないメタラーニングアルゴリズム(MAML)について検討する。
実験結果に基づき,本モデルによる最先端の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-06T02:24:48Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳(メタデータ) (2020-05-02T09:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。