論文の概要: TigerBot: An Open Multilingual Multitask LLM
- arxiv url: http://arxiv.org/abs/2312.08688v2
- Date: Fri, 15 Dec 2023 01:42:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 12:47:37.652802
- Title: TigerBot: An Open Multilingual Multitask LLM
- Title（参考訳）: TigerBot: オープン多言語マルチタスク LLM
- Authors: Ye Chen and Wei Cai and Liangmin Wu and Xiaowei Li and Zhanxuan Xin
and Cong Fu
- Abstract要約: 大型言語モデル(LLM)のTigerBotファミリをリリースし紹介する。
Llama-2とBLOOMをベースとしたモデルを開発し、データ、トレーニングアルゴリズム、インフラストラクチャ、アプリケーションツールの境界をさらに進める。
TigerBotモデルファミリは、主要な学術的、産業的なベンチマークやリーダーボードでも主要なパフォーマンスを達成している。
- 参考スコア（独自算出の注目度）: 7.413477227090228
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We release and introduce the TigerBot family of large language models (LLMs),
consisting of base and chat models, sized from 7, 13, 70 and 180 billion
parameters. We develop our models embarking from Llama-2 and BLOOM, and push
the boundary further in data, training algorithm, infrastructure, and
application tools. Our models yield meaningful performance gain over SOTA
open-source models, e.g., Llama-2, specifically 6% gain in English and 20% gain
in Chinese. TigerBot model family also achieves leading performance in major
academic and industrial benchmarks and leaderboards. We believe that TigerBot
represents just a snapshot of lightning-fast progression in LLM open-source
community. Therefore, we are thrilled to give back by publicly releasing our
models and reporting our approach behind, with additional emphases on building
SOTA LLMs in a democratized way and making LLMs of use in real-world
applications.
- Abstract（参考訳）: 我々は7,13,70,180億のパラメータを持つベースモデルとチャットモデルからなる,tigerbotファミリーの大規模言語モデル(llm)のリリースと紹介を行う。
Llama-2とBLOOMをベースとしたモデルを開発し、データ、トレーニングアルゴリズム、インフラストラクチャ、アプリケーションツールの境界をさらに進める。
我々のモデルは、例えばLlama-2のようなSOTAオープンソースモデルよりも有意義なパフォーマンス向上をもたらし、特に英語では6%、中国語では20%向上した。
tigerbot model familyは、主要な学術や産業のベンチマークやリーダーボードでも主要なパフォーマンスを達成している。
私たちは TigerBot が LLM オープンソースコミュニティの急速な進歩のスナップショットにすぎないと考えています。
したがって、私たちのモデルを公開し、私たちのアプローチを報告し、民主化された方法でSOTA LLMを構築し、現実世界のアプリケーションでLLMを使えるようにする追加の段階を施すことで、私たちは喜んでいます。
関連論文リスト
- MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。
MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
論文 参考訳（メタデータ） (2024-05-29T17:57:16Z) - Empirical Studies of Parameter Efficient Methods for Large Language Models of Code and Knowledge Transfer to R [1.9799527196428242]
大きなLangauge Models(LLM)は、ソフトウェア工学(SE)コミュニティで注目を集めています。
本研究は,CodeT5 と CodeLlama 上で,PEFT法,LoRA と Compacter を実証研究する。
自然言語モデルからコードへの知識伝達や、学習した知識を目に見えない言語に適応させる能力について、完全に微調整されたモデルと比較して、それらの性能を評価する。
論文 参考訳（メタデータ） (2024-03-16T03:12:45Z) - YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。
YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。
ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
論文 参考訳（メタデータ） (2023-12-22T17:34:47Z) - FinGPT: Large Generative Models for a Small Language [48.46240937758779]
我々は、世界の人口の0.1%未満で話されるフィンランド語のための大きな言語モデル(LLM)を作成します。
我々は、FinGPTと呼ばれる7つの単言語モデル(186Mから13Bパラメータ)をスクラッチからトレーニングする。
我々は、元のトレーニングデータとフィンランド語を混合した多言語BLOOMモデルの事前訓練を継続し、その結果、176億のパラメータモデルをBLUUMIと呼ぶ。
論文 参考訳（メタデータ） (2023-11-03T08:05:04Z) - Baichuan 2: Open Large-scale Language Models [51.56361715162972]
我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。
Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
論文 参考訳（メタデータ） (2023-09-19T04:13:22Z) - Okapi: Instruction-tuned Large Language Models in Multiple Languages
with Reinforcement Learning from Human Feedback [61.83548032416181]
複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。
オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
論文 参考訳（メタデータ） (2023-07-29T18:01:46Z) - Llama 2: Open Foundation and Fine-Tuned Chat Models [65.43397761706336]
Llama 2は、事前訓練と微調整を施した大規模言語モデル(LLM)のコレクションである。
Llama 2-Chatと呼ばれる細調整 LLM は対話のユースケースに最適化されている。
論文 参考訳（メタデータ） (2023-07-18T14:31:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。