論文の概要: FLM-101B: An Open LLM and How to Train It with $100K Budget

• arxiv url: http://arxiv.org/abs/2309.03852v3
• Date: Tue, 14 Jan 2025 06:40:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:27:22.858974
• Title: FLM-101B: An Open LLM and How to Train It with $100K Budget
• Title（参考訳）: FLM-101B:オープンなLCMと1万ドルの予算でトレーニングする方法
• Authors: Xiang Li, Yiqun Yao, Xin Jiang, Xuezhi Fang, Xuying Meng, Siqi Fan, Peng Han, Jing Li, Li Du, Bowen Qin, Zheng Zhang, Aixin Sun, Yequan Wang,
• Abstract要約: その結果,FLM-101Bは,予算1万ドルで成長戦略を訓練し,浮動小数点演算の10%に過ぎず,ベースラインのパフォーマンスの80%に達することがわかった。 先進的なトレーニングに関するさらなる研究は、コストを削減し、グリーンAIを促進することで、コミュニティに恩恵をもたらすと信じている。
• 参考スコア（独自算出の注目度）: 63.244403881531035
• License:
• Abstract: Large language models (LLMs) are considered important approaches towards foundational machine intelligence, achieving remarkable success in Natural Language Processing and multimodal tasks, among others. However, the carbon footprints and financial costs originating from heavy pre-training computation is a non-negligible issue. Progressive training methods, inspired by the neurogenesis process that grows neural structures, have shown potential to accelerate LLM pre-training. However, the algorithms, implementation, and practices for progressively training LLMs beyond 100B parameters remain underexplored. In this paper, we show that our model, namely FLM-101B, trained with our growth strategy under a budget of \$100K, reaches 80\% of the baselines' performances with only 10\% of their floating-point operations. We believe that further studies on progressive training will benefit the community by cutting down the costs and promoting green AI. The checkpoint of FLM-101B is released at https://huggingface.co/CofeAI/FLM-101B.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、基礎的マシンインテリジェンスに対する重要なアプローチと考えられており、自然言語処理やマルチモーダルタスクなどにおいて顕著な成功を収めている。 しかし、重い事前学習計算から生じる炭素フットプリントと財政コストは無視できない問題である。 神経構造を成長させる神経新生過程にインスパイアされた進歩的訓練法は、LLM事前訓練を加速する可能性を示している。 しかし、100Bパラメータを超えるLSMを段階的に訓練するアルゴリズム、実装、実践は未定のままである。 本稿では,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B, FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,FLM-101B,F LM-101Bをベースラインの80%に設定した。 先進的なトレーニングに関するさらなる研究は、コストを削減し、グリーンAIを促進することで、コミュニティに恩恵をもたらすと信じている。 FLM-101Bのチェックポイントはhttps://huggingface.co/CofeAI/FLM-101Bで公開されている。

関連論文リスト

• TICKing All the Boxes: Generated Checklists Improve LLM Evaluation and Generation [24.954629877691623]
  TICK(Targeted Instruct-evaluation with ChecKlists)は、完全に自動化され、解釈可能な評価プロトコルである。 まず,LLMが高品質な評価チェックリストを確実に生成できることを示す。 次に、STICKは、自己精製とBest-of-N選択により、複数のベンチマークで生成品質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-04T17:09:08Z)
• Assessing the Zero-Shot Capabilities of LLMs for Action Evaluation in RL [14.091146805312636]
  信用割当問題は強化学習(RL)における中心的な課題である クレジット・アサインメント・ウィズ・ランゲージ・モデル(CALM)は、報酬形成とオプション発見を通じてクレジット・アサインメントを自動化する新しいアプローチである。 予備的な結果は、大規模言語モデルの知識が、RLにおける信用代入の有望な先行であることを示している。
  論文  参考訳（メタデータ） (2024-09-19T14:08:09Z)
• Efficient Hybrid Inference for LLMs: Reward-Based Token Modelling with Selective Cloud Assistance [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおける例外的な性能で知られている。 より小型の言語モデル(SLM)は、より低価格のエッジデバイスにデプロイできるが、より大きなデバイスの性能に匹敵する。 本稿では,両モデルの強みを生かした新しいハイブリッド推論手法を提案する。
  論文  参考訳（メタデータ） (2024-09-15T15:12:45Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Can Large Language Models Play Games? A Case Study of A Self-Play Approach [61.15761840203145]
  LLM(Large Language Models)は、インターネットからの広範なデータを利用して、幅広い事前知識を格納する。 Monte-Carlo Tree Search (MCTS)は、信頼性の高い意思決定ソリューションを提供する検索アルゴリズムである。 この研究は、ターンベースのゼロサムゲームを効率的に解決するために、MCTSセルフプレイでLLMを活性化させる革新的なアプローチを導入している。
  論文  参考訳（メタデータ） (2024-03-08T19:16:29Z)
• Skill-Mix: a Flexible and Expandable Family of Evaluations for AI models [50.11814354654953]
  AIエージェントの主な能力は、必要に応じて、学習した基本的なスキルを柔軟に組み合わせることである。 この研究は、スキルを組み合わせる能力を測定するための新しい評価であるSkill-Mixを導入している。
  論文  参考訳（メタデータ） (2023-10-26T16:55:05Z)
• Large Language Model Cascades with Mixture of Thoughts Representations for Cost-efficient Reasoning [19.472937476936636]
  大きな言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示していますが、この強力なパフォーマンスは、しばしば有料のAPIサービスを使用するコストが高くなります。 本稿では, LLM のコスト削減を目的とした LLM カスケードの構築について検討する。 提案するカスケードは,より強力なLCMのみを使用すれば性能が向上するが,コストの40%しか必要としない。
  論文  参考訳（メタデータ） (2023-10-04T18:21:17Z)
• Model-Augmented Q-learning [112.86795579978802]
  モデルベースRLの構成要素を付加したMFRLフレームワークを提案する。 具体的には、$Q$-valuesだけでなく、共有ネットワークにおける遷移と報酬の両方を見積もる。 提案手法は,MQL (Model-augmented $Q$-learning) とよばれる提案手法により,真に報いられた学習によって得られる解と同一のポリシ不変解が得られることを示す。
  論文  参考訳（メタデータ） (2021-02-07T17:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。