論文の概要: FLM-101B: An Open LLM and How to Train It with $100K Budget
- arxiv url: http://arxiv.org/abs/2309.03852v2
- Date: Sun, 17 Sep 2023 07:38:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 22:04:47.733562
- Title: FLM-101B: An Open LLM and How to Train It with $100K Budget
- Title(参考訳): FLM-101B:オープンLCMと1万ドルの予算でトレーニングする方法
- Authors: Xiang Li, Yiqun Yao, Xin Jiang, Xuezhi Fang, Xuying Meng, Siqi Fan,
Peng Han, Jing Li, Li Du, Bowen Qin, Zheng Zhang, Aixin Sun, Yequan Wang
- Abstract要約: 大規模言語モデル(LLM)は、NLPやマルチモーダルタスクなどにおいて顕著な成功を収めている。
これらの成功にもかかわらず、LLMの開発における主な課題は、(i)高い計算コスト、(ii)公正で客観的な評価である。
成長戦略によりLLMトレーニングコストを大幅に削減するソリューションを実証する。
IQテストにインスパイアされた我々は、知識指向能力に焦点を当てた既存の評価の上に、さらなる範囲の評価を統合する。
実験結果から,FLM-101Bと名づけられたFLM-101Bは,100万ドルの予算で訓練され,強力でよく知られた性能を達成していることがわかった。
- 参考スコア(独自算出の注目度): 64.7903965253781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have achieved remarkable success in NLP and
multimodal tasks, among others. Despite these successes, two main challenges
remain in developing LLMs: (i) high computational cost, and (ii) fair and
objective evaluations. In this paper, we report a solution to significantly
reduce LLM training cost through a growth strategy. We demonstrate that a
101B-parameter LLM with 0.31T tokens can be trained with a budget of 100K US
dollars. Inspired by IQ tests, we also consolidate an additional range of
evaluations on top of existing evaluations that focus on knowledge-oriented
abilities. These IQ evaluations include symbolic mapping, rule understanding,
pattern mining, and anti-interference. Such evaluations minimize the potential
impact of memorization. Experimental results show that our model, named
FLM-101B, trained with a budget of 100K US dollars, achieves performance
comparable to powerful and well-known models, e.g., GPT-3 and GLM-130B,
especially on the additional range of IQ evaluations. The checkpoint of
FLM-101B is released at https://huggingface.co/CofeAI/FLM-101B.
- Abstract(参考訳): 大規模言語モデル(LLM)は、NLPやマルチモーダルタスクで顕著な成功を収めている。
これらの成功にもかかわらず、LLMの開発には2つの大きな課題がある。
(i)高い計算コスト、及び
(ii)公平で客観的な評価。
本稿では,成長戦略を通じてLLMトレーニングコストを大幅に削減する手法について報告する。
我々は、0.31tトークンを持つ101bパラメータのllmを、予算1万ドルでトレーニングできることを実証する。
IQテストにインスパイアされた我々は、知識指向能力に焦点を当てた既存の評価の上に、さらなる範囲の評価を統合する。
これらのIQ評価には、シンボリックマッピング、ルール理解、パターンマイニング、反干渉が含まれる。
このような評価は記憶の潜在的な影響を最小限に抑える。
実験結果から,FLM-101Bと命名された我々のモデルは,GPT-3 や GLM-130B などの強力でよく知られたモデルに匹敵する性能を達成し,特にIQ 評価のさらなる範囲で実現した。
FLM-101Bのチェックポイントはhttps://huggingface.co/CofeAI/FLM-101Bで公開されている。
関連論文リスト
- Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳(メタデータ) (2024-04-18T15:21:34Z) - Can Large Language Models Play Games? A Case Study of A Self-Play
Approach [61.15761840203145]
LLM(Large Language Models)は、インターネットからの広範なデータを利用して、幅広い事前知識を格納する。
Monte-Carlo Tree Search (MCTS)は、信頼性の高い意思決定ソリューションを提供する検索アルゴリズムである。
この研究は、ターンベースのゼロサムゲームを効率的に解決するために、MCTSセルフプレイでLLMを活性化させる革新的なアプローチを導入している。
論文 参考訳(メタデータ) (2024-03-08T19:16:29Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - MRKE: The Multi-hop Reasoning Evaluation of LLMs by Knowledge Edition [41.7633932976937]
市販のHotpotQAデータセットを編集して,新たな知識に基づくLCM MHQA評価ベンチマークを導入する。
また,マルチホップ質問に対応するサブクエストと中間回答の形式で推論連鎖を注釈し,評価する。
論文 参考訳(メタデータ) (2024-02-19T08:12:30Z) - Skill-Mix: a Flexible and Expandable Family of Evaluations for AI models [50.11814354654953]
AIエージェントの主な能力は、必要に応じて、学習した基本的なスキルを柔軟に組み合わせることである。
この研究は、スキルを組み合わせる能力を測定するための新しい評価であるSkill-Mixを導入している。
論文 参考訳(メタデータ) (2023-10-26T16:55:05Z) - Enhancing Financial Sentiment Analysis via Retrieval Augmented Large
Language Models [11.154814189699735]
大規模な言語モデル (LLM) は様々なNLPタスクにおいて優れた性能を示した。
本稿では,金融感情分析のためのLLMフレームワークを提案する。
提案手法の精度は15%から48%向上し,F1得点を得た。
論文 参考訳(メタデータ) (2023-10-06T05:40:23Z) - Large Language Model Cascades with Mixture of Thoughts Representations
for Cost-efficient Reasoning [19.472937476936636]
大きな言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示していますが、この強力なパフォーマンスは、しばしば有料のAPIサービスを使用するコストが高くなります。
本稿では, LLM のコスト削減を目的とした LLM カスケードの構築について検討する。
提案するカスケードは,より強力なLCMのみを使用すれば性能が向上するが,コストの40%しか必要としない。
論文 参考訳(メタデータ) (2023-10-04T18:21:17Z) - Model-Augmented Q-learning [112.86795579978802]
モデルベースRLの構成要素を付加したMFRLフレームワークを提案する。
具体的には、$Q$-valuesだけでなく、共有ネットワークにおける遷移と報酬の両方を見積もる。
提案手法は,MQL (Model-augmented $Q$-learning) とよばれる提案手法により,真に報いられた学習によって得られる解と同一のポリシ不変解が得られることを示す。
論文 参考訳(メタデータ) (2021-02-07T17:56:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。