論文の概要: Platypus: Quick, Cheap, and Powerful Refinement of LLMs
- arxiv url: http://arxiv.org/abs/2308.07317v1
- Date: Mon, 14 Aug 2023 17:59:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 12:10:01.213952
- Title: Platypus: Quick, Cheap, and Powerful Refinement of LLMs
- Title(参考訳): platypus: 高速、安価、かつ強力なllmの改良
- Authors: Ariel N. Lee, Cole J. Hunter, Nataniel Ruiz
- Abstract要約: プラティパス(英: Platypus)は、大規模言語モデル(Large Language Models)のファミリーである。
13B Platypusモデルは、$textita single$ A100 GPUで5時間で25kの質問を使ってトレーニングできる。
- 参考スコア(独自算出の注目度): 10.155774361463756
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present $\textbf{Platypus}$, a family of fine-tuned and merged Large
Language Models (LLMs) that achieves the strongest performance and currently
stands at first place in HuggingFace's Open LLM Leaderboard as of the release
date of this work. In this work we describe (1) our curated dataset
$\textbf{Open-Platypus}$, that is a subset of other open datasets and which
$\textit{we release to the public}$ (2) our process of fine-tuning and merging
LoRA modules in order to conserve the strong prior of pretrained LLMs, while
bringing specific domain knowledge to the surface (3) our efforts in checking
for test data leaks and contamination in the training data, which can inform
future research. Specifically, the Platypus family achieves strong performance
in quantitative LLM metrics across model sizes, topping the global Open LLM
leaderboard while using just a fraction of the fine-tuning data and overall
compute that are required for other state-of-the-art fine-tuned LLMs. In
particular, a 13B Platypus model can be trained on $\textit{a single}$ A100 GPU
using 25k questions in 5 hours. This is a testament of the quality of our
Open-Platypus dataset, and opens opportunities for more improvements in the
field. Project page: https://platypus-llm.github.io
- Abstract(参考訳): 我々は,HuggingFace の Open LLM Leaderboard において,この作業のリリース日時点で最強のパフォーマンスを達成し,現在一位に立っている,細かな調整と統合されたLarge Language Models (LLMs) のファミリーである $\textbf{Platypus}$ を提示する。
本研究では,(1)他のオープンデータセットのサブセットであり,(2)loraモジュールの微調整とマージを行うプロセスである$\textbf{open-platypus}$を,(1)事前訓練済みllmの強みを保ちつつ,(3)テストデータの漏洩やトレーニングデータへの汚染を検査する,(3)特定のドメイン知識を表面に持ち込むことによって,今後の研究に役立てることができる。
具体的には、Platypusファミリーは、モデルサイズをまたいだ定量的LLMメトリクスにおいて強力なパフォーマンスを達成し、グローバルなOpen LLMリーダーボードをトッピングし、その他の最先端の細調整LLMに必要な、わずかな微調整データと全体的な計算を使用する。
特に、13b platypusモデルは、5時間で25kの質問を使って$\textit{a single}$ a100 gpuでトレーニングできる。
これはOpen-Platypusデータセットの品質の証明であり、この分野におけるさらなる改善の機会を開くものです。
プロジェクトページ: https://platypus-llm.github.io
関連論文リスト
- Elephants Never Forget: Memorization and Learning of Tabular Data in Large Language Models [21.10890310571397]
トレーニング中に、言語モデルがデータセットを見たかどうかを評価するために、さまざまなテクニックを導入します。
トレーニング中に見られたデータセット上でのLLMの数発の学習性能と、トレーニング後にリリースされたデータセットのパフォーマンスを比較した。
LLMはトレーニング中に見られるデータセットよりも優れており、記憶が過度に適合することを示している。
論文 参考訳(メタデータ) (2024-04-09T10:58:21Z) - Fine Tuning LLM for Enterprise: Practical Guidelines and Recommendations [2.699900017799093]
我々は、企業リポジトリのプロプライエタリなドキュメントとコードを使用したオープンソースのLLMであるLLaMAの微調整に重点を置いている。
この作業の一環として、私たちは初心者に、ドキュメントやコードのための LLM の微調整から始める方法について、ガイドすることを目指しています。
また、さまざまなフォーマットでデータセットを作成するために、ドキュメンテーションとコードの両方に事前処理のレシピを提案する。
論文 参考訳(メタデータ) (2024-03-23T13:25:01Z) - Better Call SAL: Towards Learning to Segment Anything in Lidar [63.9984147657437]
本稿では,Lidar内の任意のオブジェクトをセグメント化,分類するためのテキストプロンプト可能なゼロショットモデルを提案する。
擬似ラベルエンジンは、手動の監督なしにモデルの訓練を容易にする。
クラスに依存しないセグメンテーションでは91%、ゼロショットLPSでは44%である。
論文 参考訳(メタデータ) (2024-03-19T19:58:54Z) - Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Data-Centric Financial Large Language Models [27.464319154543173]
大規模言語モデル(LLM)は自然言語のタスクを約束するが、金融のような複雑なドメインに直接適用した場合に苦労する。
我々は、LLMが金融業務をよりうまく扱えるようにするために、データ中心のアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-07T04:53:31Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳(メタデータ) (2023-08-25T01:41:04Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - You can't pick your neighbors, or can you? When and how to rely on
retrieval in the $k$NN-LM [65.74934004876914]
Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。
そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。
本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
論文 参考訳(メタデータ) (2022-10-28T02:57:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。