論文の概要: FLM-101B: An Open LLM and How to Train It with $100K Budget

• arxiv url: http://arxiv.org/abs/2309.03852v3
• Date: Tue, 14 Jan 2025 06:40:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:27:22.858974
• Title: FLM-101B: An Open LLM and How to Train It with $100K Budget
• Title（参考訳）: FLM-101B:オープンなLCMと1万ドルの予算でトレーニングする方法
• Authors: Xiang Li, Yiqun Yao, Xin Jiang, Xuezhi Fang, Xuying Meng, Siqi Fan, Peng Han, Jing Li, Li Du, Bowen Qin, Zheng Zhang, Aixin Sun, Yequan Wang,
• Abstract要約: その結果,FLM-101Bは,予算1万ドルで成長戦略を訓練し,浮動小数点演算の10%に過ぎず,ベースラインのパフォーマンスの80%に達することがわかった。 先進的なトレーニングに関するさらなる研究は、コストを削減し、グリーンAIを促進することで、コミュニティに恩恵をもたらすと信じている。
• 参考スコア（独自算出の注目度）: 63.244403881531035
• License:
• Abstract: Large language models (LLMs) are considered important approaches towards foundational machine intelligence, achieving remarkable success in Natural Language Processing and multimodal tasks, among others. However, the carbon footprints and financial costs originating from heavy pre-training computation is a non-negligible issue. Progressive training methods, inspired by the neurogenesis process that grows neural structures, have shown potential to accelerate LLM pre-training. However, the algorithms, implementation, and practices for progressively training LLMs beyond 100B parameters remain underexplored. In this paper, we show that our model, namely FLM-101B, trained with our growth strategy under a budget of \$100K, reaches 80\% of the baselines' performances with only 10\% of their floating-point operations. We believe that further studies on progressive training will benefit the community by cutting down the costs and promoting green AI. The checkpoint of FLM-101B is released at https://huggingface.co/CofeAI/FLM-101B.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、基礎的マシンインテリジェンスに対する重要なアプローチと考えられており、自然言語処理やマルチモーダルタスクなどにおいて顕著な成功を収めている。 しかし、重い事前学習計算から生じる炭素フットプリントと財政コストは無視できない問題である。 神経構造を成長させる神経新生過程にインスパイアされた進歩的訓練法は、LLM事前訓練を加速する可能性を示している。 しかし、100Bパラメータを超えるLSMを段階的に訓練するアルゴリズム、実装、実践は未定のままである。 本稿では,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B, FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,F LM-101Bをベースラインの80%に設定した。 先進的なトレーニングに関するさらなる研究は、コストを削減し、グリーンAIを促進することで、コミュニティに恩恵をもたらすと信じている。 FLM-101Bのチェックポイントはhttps://huggingface.co/CofeAI/FLM-101Bで公開されている。

関連論文リスト

• CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation [17.807249890437767]
  我々は,CoLAとそのメモリ効率向上実装であるCoLA-Mを紹介する。 モデルアクティベーションにおいて広く観測される低ランク構造を利用して、モデルサイズを削減し、モデルのキャパシティを向上し、トレーニング効率を向上させる。 6000万から70億のパラメータを持つLLaMAモデルの実験では、CoLAはコンピューティングコストを$bf 2pmbtimes$で削減し、フルランクレベルのパフォーマンスを維持しながら、トレーニングスループットを$bf 1.86pmbtimes$で改善している。
  論文  参考訳（メタデータ） (2025-02-16T01:05:16Z)
• Control LLM: Controlled Evolution for Intelligence Retention in LLM [4.67235851066221]
  並列事前学習および拡張トランスブロックを利用した新しいアプローチである textbfControl LLM を提案する。 CPT(Continuous Pre-Training)とCSFT(Continuous Supervised Fine-Tuning)における制御LDMの有効性を示す実験 既存の手法を超越し、同じベースモデルからチューニングされたオープンソースモデルの中でSOTAを実現する。
  論文  参考訳（メタデータ） (2025-01-19T08:06:06Z)
• Sparsity-Accelerated Training for Large Language Models [20.86225596276327]
  大規模言語モデル (LLM) は様々な自然言語処理 (NLP) タスクの習熟度を示した。 LLMは、連続的な事前訓練や教師付き微調整など、追加の訓練を必要とすることが多い。 本稿では,この学習プロセスの迅速化のために,事前学習したLLMのエンハンスパシティを活用することを提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:56:09Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Optimizing Distributed Training on Frontier for Large Language Models [7.251642875697334]
  数十億のパラメータで大規模言語モデル(LLM)を訓練することは、重大な課題となり、かなりの計算資源を必要とする。 本研究では、世界初のエクサスケールスーパーコンピュータであるFrontierからこの計算を抽出するための効率的な分散トレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2023-12-20T02:03:15Z)
• Reinforcement Learning with Foundation Priors: Let the Embodied Agent Efficiently Learn on Its Own [59.11934130045106]
  我々は、政策、価値、成功-回帰基盤モデルからのガイダンスとフィードバックを活用するために、RLFP(Reinforcement Learning with Foundation Priors)を提案する。 本フレームワークでは,自動報酬関数を用いてより効率的にエージェントを探索できるファウンデーション誘導型アクター・クリティカル(FAC)アルゴリズムを導入する。 本手法は,実ロボットとシミュレーションの両方において,様々な操作タスクにおいて顕著な性能を実現する。
  論文  参考訳（メタデータ） (2023-10-04T07:56:42Z)
• GrowLength: Accelerating LLMs Pretraining by Progressively Growing Training Length [65.24730341801468]
  本稿では,大規模言語モデルの事前学習プロセスを促進するために,Growlength'という,新しい,シンプルで効果的な手法を提案する。 本手法は,事前学習期間を通じてトレーニング期間を段階的に延長し,計算コストを軽減し,効率を向上する。
  論文  参考訳（メタデータ） (2023-10-01T05:25:24Z)
• Knowledge Inheritance for Pre-trained Language Models [57.51305807391381]
  我々は「知識継承(KI)」という新しい事前学習フレームワークを導入する。 KIは、自己学習と教師指導の両方を組み合わせて、より大きなPLMを効率的に訓練する。 KIは生涯学習と知識伝達を十分に支援できることを示す。
  論文  参考訳（メタデータ） (2021-05-28T14:43:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。