論文の概要: Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks

• arxiv url: http://arxiv.org/abs/2305.14201v1
• Date: Tue, 23 May 2023 16:20:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 14:52:36.955272
• Title: Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks
• Title（参考訳）: goat: 算術タスクでgpt-4を上回る微調整ラマ
• Authors: Tiedong Liu and Bryan Kian Hsiang Low
• Abstract要約: 我々は,GPT-4を演算タスクの範囲で大幅に上回る微調整LLaMAモデルであるGoatを紹介する。 特に、ゼロショットのGoat-7Bは、数発のPaLM-540Bで達成された精度を上回ります。 驚いたことに、Goatは、監督された微調整のみを通して、多数の加算と減算に対してほぼ完璧な精度を達成できる。
• 参考スコア（独自算出の注目度）: 28.349262263453795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Goat, a fine-tuned LLaMA model that significantly outperforms GPT-4 on a range of arithmetic tasks. Fine-tuned on a synthetically generated dataset, Goat achieves state-of-the-art performance on BIG-bench arithmetic sub-task. In particular, the zero-shot Goat-7B matches or even surpasses the accuracy achieved by the few-shot PaLM-540B. Surprisingly, Goat can achieve near-perfect accuracy on large-number addition and subtraction through supervised fine-tuning only, which is almost impossible with previous pretrained language models, such as Bloom, OPT, GPT-NeoX, etc. We attribute Goat's exceptional performance to LLaMA's consistent tokenization of numbers. To tackle more challenging tasks like large-number multiplication and division, we propose an approach that classifies tasks based on their learnability, and subsequently decomposes unlearnable tasks, such as multi-digit multiplication and division, into a series of learnable tasks by leveraging basic arithmetic principles. We thoroughly examine the performance of our model, offering a comprehensive evaluation of the effectiveness of our proposed decomposition steps. Additionally, Goat-7B can be easily trained using LoRA on a 24GB VRAM GPU, facilitating reproducibility for other researchers. We release our model, dataset, and the Python script for dataset generation.
• Abstract（参考訳）: 我々は,GPT-4を演算タスクの範囲で大幅に上回る微調整LLaMAモデルであるGoatを紹介する。 合成データセットに基づいて微調整されたGoatは、BIG-bench算術サブタスク上で最先端のパフォーマンスを達成する。 特に、ゼロショットのGoat-7Bは、数発のPaLM-540Bで達成された精度を上回ります。 驚いたことに、Goatは教師付き微調整のみによって、大容量の追加と減算においてほぼ完璧な精度を達成できるが、Bloom、OPT、GPT-NeoXといった以前の事前訓練言語モデルでは不可能に近い。 ゴートの例外的な性能は、LLaMAの数値の一貫したトークン化に起因する。 本稿では,多桁乗算や除算といった課題に対処するため,学習可能性に基づいてタスクを分類し,その後,多桁乗算や除算などの未学習タスクを,基本的算術原理を利用して一連の学習可能なタスクに分解する手法を提案する。 本モデルの性能を徹底的に検証し,提案手法の有効性を総合的に評価した。 さらに、Goat-7Bは24GBのVRAM GPU上でLoRAを使って簡単にトレーニングすることができ、他の研究者の再現性を促進することができる。 データセット生成のためのモデル、データセット、Pythonスクリプトをリリースします。

関連論文リスト

• Number Cookbook: Number Understanding of Language Models and How to Improve It [63.9542740221096]
  大規模言語モデル(LLM)は、基本的な数値的な理解と処理において予期せぬ誤りを犯しながら、複雑な推論タスクの増大を解決することができる。 本稿では,LLMの数値理解と処理能力(NUPA)について包括的に検討する。
  論文  参考訳（メタデータ） (2024-11-06T08:59:44Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• MARIO: MAth Reasoning with code Interpreter Output -- A Reproducible Pipeline [12.186691561822256]
  我々は,大規模言語モデル(LLM)の本質的な性質が,数学的推論のモデル化における課題を提起していると仮定する。 本稿では,Pythonコードインタプリタを利用した新しい数学データセットを提案する。 本稿では,数学固有のLLMの微調整のための仮的かつ容易に複製可能なプロトコルを提案する。
  論文  参考訳（メタデータ） (2024-01-16T08:08:01Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• First-Step Advantage: Importance of Starting Right in Multi-Step Math Reasoning [11.75364271481855]
  言語モデルは、予測のための合理性を生成することを学ぶことによって、複雑な推論タスクをよりよく解決することができる。 より小さなモデル、特に修正された場合には、彼らが他の方法で苦労したであろうタスクを解決できることを観察します。 我々はQuestCoTを提案し、より小さなモデルがまず、推論の連鎖で進む前に、どのように開始するかを自問する。
  論文  参考訳（メタデータ） (2023-11-14T06:45:31Z)
• GPT Can Solve Mathematical Problems Without a Calculator [24.114064917059565]
  大規模言語モデルでは,データ漏洩を伴わずに,ほぼ100%の精度で算術演算を正確に行うことができることを示す。 また、GLM-10Bから微調整した我々のMathGLMは、5000サンプルの中国の数学問題テストセットにおいて、GPT-4と同様の性能を発揮することを示した。
  論文  参考訳（メタデータ） (2023-09-06T06:18:16Z)
• Teaching Arithmetic to Small Transformers [39.72665384986095]
  本研究では,小形変圧器が算術演算を効率的に学習する方法について検討する。 まず,従来の学習データが算術学習に最も効果的でないことを示す。 次に、中間ステップの結果を含むチェーン・オブ・シンクスタイルのデータをトレーニングします。
  論文  参考訳（メタデータ） (2023-07-07T04:33:31Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)
• FCM: Forgetful Causal Masking Makes Causal Language Models Better Zero-Shot Learners [139.6321017962092]
  本稿では,計算コストを増大させることなく,大規模言語モデルの性能を大幅に向上させる簡単な手法を提案する。 我々のキーとなる観察は、ランダムに選択された過去のトークンをマスクアウトした次のトークン予測タスクを実行することで、学習された表現の品質を向上させることができることである。 実験結果から,本手法は多種多様なタスクに対して,PALMのゼロおよび少数ショット性能も向上することが示された。
  論文  参考訳（メタデータ） (2022-10-24T17:46:57Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。