論文の概要: PARAMANU-GANITA: Language Model with Mathematical Capabilities

• arxiv url: http://arxiv.org/abs/2404.14395v1
• Date: Mon, 22 Apr 2024 17:55:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 12:58:23.878630
• Title: PARAMANU-GANITA: Language Model with Mathematical Capabilities
• Title（参考訳）: PARAMANU-GANITA:数学的能力を持つ言語モデル
• Authors: Mitodru Niyogi, Arnab Bhattacharya,
• Abstract要約: Paramanu-Ganita(パラマヌ・ガニータ)は、2億8800万のパラメーター小説『Auto Regressive』(AR)デコーダに基づく数学の言語モデルである。 このモデルは, 計算した混合数学的コーパス上で, 4096 の文脈サイズでゼロから事前学習される。 我々は,数値計算とGSM8kの2つの数学ベンチマークを用いて,モデルの評価を行った。
• 参考スコア（独自算出の注目度）: 3.9018931027384056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present Paramanu-Ganita, a 208 million parameter novel Auto Regressive (AR) decoder based language model on mathematics. The model is pretrained from scratch at context size of 4096 on our curated mixed mathematical corpus. We evaluate our model on both perplexity metric and GSM8k mathematical benchmark. Paramanu-Ganita despite being 35 times smaller than 7B LLMs, outperformed generalist LLMs such as LLaMa-1 7B by 28.4% points, LLaMa-2 7B by 27.6% points, Falcon 7B by 32.6% points, PaLM 8B by 35.3% points, and math specialised LLMs such as Minerva 8B by 23.2% points, and LLEMMA-7B by 3.0% points in GSM8k test accuracy metric respectively. Paramanu-Ganita also outperformed giant LLMs like PaLM 62B by 6.4% points, Falcon 40B by 19.8% points, LLaMa-1 33B by 3.8% points and Vicuna 13B by 11.8% points respectively. The large significant margin improvement in performance of our math model over the existing LLMs signifies that reasoning capabilities of language model are just not restricted to LLMs with humongous number of parameters. Paramanu-Ganita took 146 hours of A100 training whereas math specialised LLM, LLEMMA 7B, was trained for 23,000 A100 hours of training equivalent. Thus, our approach of pretraining powerful domain specialised language models from scratch for domain adaptation is much more cost-effective than performing continual training of LLMs for domain adaptation. Hence, we conclude that for strong mathematical reasoning abilities of language model, we do not need giant LLMs and immense computing power to our end. In the end, we want to point out that we have only trained Paramanu-Ganita only on a part of our entire mathematical corpus and yet to explore the full potential of our model.
• Abstract（参考訳）: 本稿では,2億8800万件のパラメータ小説「Auto Regressive (AR) Decoder based language model on mathematics」を紹介する。 このモデルは, 計算した混合数学的コーパス上で, 4096 の文脈サイズでゼロから事前学習される。 我々は,数値計算とGSM8kの2つの数学ベンチマークを用いて,モデルの評価を行った。 7B LLMの35倍小さいにもかかわらず、LLaMa-1 7Bの28.4%、LLaMa-2 7Bの27.6%、ファルコン7Bの32.6%、PaLM 8Bの35.3%、ミネルバ8Bの23.2%、LLEMMA-7Bの3.0%といった計算用LSMよりも優れていた。 パラマヌ・ガニータは、PALM 62Bの6.4%、ファルコン40Bの19.8%、LLaMa-1 33Bの3.8%、ヴィクナ13Bの11.8%といった巨大なLLMをそれぞれ上回った。 既存の LLM と比較して,我々の算数モデルの性能が大幅に向上したことは,言語モデルの推論能力は,パラメータ数の多い LLM に限ったものではないことを示唆している。 パラマヌ・ガニータはA100訓練146時間、数学専門のLLEMMA 7BはA100訓練23,000時間で訓練された。 したがって、ドメイン適応のためのスクラッチから強力なドメイン特化言語モデルを事前訓練するアプローチは、ドメイン適応のためのLLMの継続的なトレーニングよりもはるかにコスト効率が高い。 したがって、言語モデルの強力な数学的推論能力のために、我々は巨大なLLMや巨大な計算能力は必要としない。 結局のところ、我々はパラマヌ・ガニータを数学的コーパスの一部だけにしか訓練していないことを指摘し、我々のモデルの全潜在能力を探求していない。

関連論文リスト

• WALL-E: World Alignment by Rule Learning Improves World Model-based LLM Agents [55.64361927346957]
  大規模言語モデル(LLM)による規則の勾配なし学習のためのニューロシンボリックアプローチを提案する。 我々のLLMエージェントWALL-Eはモデル予測制御(MPC)上に構築されている MinecraftとALFWorldにおけるオープンワールドの課題について、WALL-Eは既存の方法よりも高い成功率を達成する。
  論文  参考訳（メタデータ） (2024-10-09T23:37:36Z)
• Skywork-Math: Data Scaling Laws for Mathematical Reasoning in Large Language Models -- The Story Goes On [55.449818944278526]
  一般的な7B言語モデル上での教師付き微調整(SFT)であるSkywork-Mathモデルシリーズを紹介する。 Skywork-Math 7Bは競争レベルのMATHベンチマークで51.2%の精度を達成した。 我々は,LLMの数学推論能力を高めるために,研究用と産業用の両方で,いくつかの実践的なテイクアウトを提供する。
  論文  参考訳（メタデータ） (2024-07-11T09:56:51Z)
• ChatGLM-Math: Improving Math Problem-Solving in Large Language Models with a Self-Critique Pipeline [42.61538071832468]
  大規模言語モデル(LLM)は、人間の言語の優れた習得を示すが、数学的な問題解決を必要とする現実世界のアプリケーションでは依然として苦戦している。 LLMアライメントのフィードバック学習段階における課題に対処する自己批判パイプラインを調整します。
  論文  参考訳（メタデータ） (2024-04-03T17:51:18Z)
• Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
  本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。 拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
  論文  参考訳（メタデータ） (2024-03-07T18:00:40Z)
• InternLM-Math: Open Math Large Language Models Toward Verifiable Reasoning [98.53491178426492]
  InternLM2から事前学習を継続するILMs InternLM-Mathをオープンソースとして公開する。 我々は、連鎖推論、報酬モデリング、形式推論、データ拡張、コードインタプリタを、統一されたSeq2seqフォーマットで統一する。 我々の事前学習モデルは、微調整なしでMiniF2Fテストセットで30.3を達成する。
  論文  参考訳（メタデータ） (2024-02-09T11:22:08Z)
• MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models [91.66694225955872]
  数学的推論を専門とする微調整言語モデルであるMetaMathを提案する。 具体的には、余分な知識を伴わずに複数の視点から質問を書き換えることで、数学的質問をブートストラップすることから始める。 私たちは、すべてのMetaMathQAデータセット、異なるモデルサイズを持つMetaMathモデル、パブリック使用のためのトレーニングコードをリリースします。
  論文  参考訳（メタデータ） (2023-09-21T17:45:42Z)
• Boosting Theory-of-Mind Performance in Large Language Models via Prompting [2.538209532048867]
  本研究は,GPT-4および3種類のGPT-3.5のToM特性を測定する。 ToM理解の改善における文脈内学習の有効性を検討した。
  論文  参考訳（メタデータ） (2023-04-22T22:50:50Z)
• Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
  複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。 GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。 多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
  論文  参考訳（メタデータ） (2023-02-17T14:46:38Z)
• Large Language Models Can Self-Improve [34.78624270280148]
  我々は、事前学習したLLMを用いて、ラベルなし質問に対する「高信頼」理性強化された回答を生成する。 提案手法は, 根拠となる真理ラベルを使わずに, 最先端のパフォーマンスを実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-20T21:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。