論文の概要: Xmodel-1.5: An 1B-scale Multilingual LLM

• arxiv url: http://arxiv.org/abs/2411.10083v1
• Date: Fri, 15 Nov 2024 10:01:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:38:32.506125
• Title: Xmodel-1.5: An 1B-scale Multilingual LLM
• Title（参考訳）: Xmodel-1.5: 1Bスケール多言語LLM
• Authors: Wang Qun, Liu Yang, Lin Qingquan, Jiang Ling,
• Abstract要約: 約2兆のトークンで事前訓練された新しい1ビリオンパラメータ多言語大モデルであるXmodel-1.5を紹介する。 このモデルは、タイ語、アラビア語、フランス語などいくつかの言語で強いパフォーマンスを示し、中国語や英語でも効果がある。 我々は,Chulalongkorn University's School of Integrated Innovationの学生が注釈付けした数百の質問を含むタイ語評価データセットをリリースする。
• 参考スコア（独自算出の注目度）: 4.298869484709548
• License:
• Abstract: We introduce Xmodel-1.5, a novel 1-billion-parameter multilingual large model pretrained on approximately 2 trillion tokens. The model demonstrates strong performance across several languages, with particularly notable results in Thai, Arabic, and French, alongside its effectiveness in Chinese and English. In addition, we contribute to the research community by releasing a Thai evaluation dataset, which includes hundreds of questions annotated by students from Chulalongkorn University's School of Integrated Innovation. While the results are promising, we acknowledge that there is still room for improvement. We hope this work advances ongoing efforts in multilingual AI research and promotes better cross-linguistic understanding in various natural language processing tasks. Our models and code are publicly available on GitHub at https://github.com/XiaoduoAILab/XmodelLM.
• Abstract（参考訳）: 約2兆のトークンで事前訓練された,新しい1ビリオンパラメトリック多言語大モデルであるXmodel-1.5を紹介する。 このモデルは、タイ語、アラビア語、フランス語などいくつかの言語で強いパフォーマンスを示し、中国語と英語で効果がある。 また,Chulalongkorn University's School of Integrated Innovationの学生が注釈付けした数百の質問を含むタイ評価データセットを公開し,研究コミュニティに貢献する。 結果は有望だが、まだ改善の余地があることを認めている。 この研究が、多言語AI研究の継続的な取り組みを前進させ、さまざまな自然言語処理タスクにおける言語横断的な理解を促進することを願っている。 私たちのモデルとコードはGitHubでhttps://github.com/XiaoduoAILab/XmodelLM.comで公開されています。

関連論文リスト

• Xmodel-LM Technical Report [13.451816134545163]
  Xmodel-LMは、約2兆トークンで事前訓練されたコンパクトで効率的な1.1B言語モデルである。 大きさは小さいものの、見事な性能を誇っている。
  論文  参考訳（メタデータ） (2024-06-05T02:12:06Z)
• Sailor: Open Language Models for South-East Asia [31.8422378772881]
  Sailor(セイラー)は、東南アジア(SEA)言語向けに作られたオープン言語モデルである。 セイラーモデルは200Bから400Bのトークンを受け取り、主に英語、中国語、ベトナム語、タイ語、インドネシア語、マレー語、ラオス語をカバーしている。
  論文  参考訳（メタデータ） (2024-04-04T17:31:32Z)
• PALO: A Polyglot Large Multimodal Model for 5B People [23.839200109033538]
  より包括的な視覚言語モデル(VLM)を追求するために,PALOと呼ばれる大規模マルチモーダルモデルを導入する。 PALOは、英語、中国語、ヒンディー語、スペイン語、フランス語、アラビア語、ベンガル語、ロシア語、ウルドゥー語、日本語を含む10の主要言語で視覚的推論機能を提供する。
  論文  参考訳（メタデータ） (2024-02-22T18:59:58Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• Baichuan 2: Open Large-scale Language Models [51.56361715162972]
  我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
  論文  参考訳（メタデータ） (2023-09-19T04:13:22Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Beyond English-Centric Bitexts for Better Multilingual Language Representation Learning [99.42850643947439]
  我々は、新しいサンプリング戦略と組み合わさって、英語中心のbitextsを超えることによって、モデルサイズにおけるパフォーマンスが大幅に向上することを示す。 XY-LENT XL は XLM-RXXL より優れ,mT5 XXL との競合性能は5倍,6倍小さい。
  論文  参考訳（メタデータ） (2022-10-26T17:16:52Z)
• IndicSUPERB: A Speech Processing Universal Performance Benchmark for Indian languages [16.121708272597154]
  インド12言語における音声認識のためのIndicSUPERBベンチマークをリリースする。 一般的に使用されているベースラインベンチマークとともに、さまざまな自己教師付きモデルをトレーニングし、評価する。 言語固有の微調整モデルはほとんどのタスクのベースラインよりも正確であることを示す。
  論文  参考訳（メタデータ） (2022-08-24T20:14:52Z)
• Larger-Scale Transformers for Multilingual Masked Language Modeling [16.592883204398518]
  XLM-R XLとXLM-R XXLはXLM-Rよりも1.8%、XNLIの平均精度は2.4%向上した。 また、GLUEベンチマークの英語タスクのRoBERTa-Largeモデルを平均0.3%上回り、99以上の言語を扱う。
  論文  参考訳（メタデータ） (2021-05-02T23:15:02Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。