論文の概要: Qwen2.5 Technical Report

• arxiv url: http://arxiv.org/abs/2412.15115v1
• Date: Thu, 19 Dec 2024 17:56:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:31:54.120986
• Title: Qwen2.5 Technical Report
• Title（参考訳）: Qwen2.5テクニカルレポート
• Authors: Qwen, :, An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zihan Qiu,
• Abstract要約: Qwen2.5は多種多様なニーズに対応するように設計された大規模言語モデル(LLM)の包括的シリーズである。 以前のイテレーションと比較して、Qwen 2.5はトレーニング前とトレーニング後の両方で大幅に改善されている。 オープンウェイト製品には、ベースモデルと命令チューニングモデルが含まれており、量子化されたバージョンが利用可能である。 ホスト型ソリューションでは、現在プロプライエタリなモデルには、Qwen2.5-TurboとQwen2.5-Plusの2つの混合型(MoE)が含まれている。
• 参考スコア（独自算出の注目度）: 111.36038631005343
• License:
• Abstract: In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) designed to meet diverse needs. Compared to previous iterations, Qwen 2.5 has been significantly improved during both the pre-training and post-training stages. In terms of pre-training, we have scaled the high-quality pre-training datasets from the previous 7 trillion tokens to 18 trillion tokens. This provides a strong foundation for common sense, expert knowledge, and reasoning capabilities. In terms of post-training, we implement intricate supervised finetuning with over 1 million samples, as well as multistage reinforcement learning. Post-training techniques enhance human preference, and notably improve long text generation, structural data analysis, and instruction following. To handle diverse and varied use cases effectively, we present Qwen2.5 LLM series in rich sizes. Open-weight offerings include base and instruction-tuned models, with quantized versions available. In addition, for hosted solutions, the proprietary models currently include two mixture-of-experts (MoE) variants: Qwen2.5-Turbo and Qwen2.5-Plus, both available from Alibaba Cloud Model Studio. Qwen2.5 has demonstrated top-tier performance on a wide range of benchmarks evaluating language understanding, reasoning, mathematics, coding, human preference alignment, etc. Specifically, the open-weight flagship Qwen2.5-72B-Instruct outperforms a number of open and proprietary models and demonstrates competitive performance to the state-of-the-art open-weight model, Llama-3-405B-Instruct, which is around 5 times larger. Qwen2.5-Turbo and Qwen2.5-Plus offer superior cost-effectiveness while performing competitively against GPT-4o-mini and GPT-4o respectively. Additionally, as the foundation, Qwen2.5 models have been instrumental in training specialized models such as Qwen2.5-Math, Qwen2.5-Coder, QwQ, and multimodal models.
• Abstract（参考訳）: 本稿では,多種多様なニーズに対応するために設計された大規模言語モデル(LLM)の包括的シリーズであるQwen2.5を紹介する。 以前のイテレーションと比較して、Qwen 2.5はトレーニング前とトレーニング後の両方で大幅に改善されている。 事前トレーニングに関しては、前回の7兆トークンから18兆トークンまで、高品質な事前トレーニングデータセットをスケールしました。 これは、常識、専門家の知識、推論能力の強力な基盤を提供する。 ポストトレーニングでは,100万以上のサンプルを用いた複雑な教師付き微調整と多段階強化学習を実装した。 ポストトレーニング技術は人間の嗜好を高め、特に長文生成、構造データ分析、命令フォローを改善する。 多様なユースケースを効果的に扱うために,我々はQwen2.5 LLMシリーズを多種多様なサイズで提示する。 オープンウェイト製品には、ベースモデルと命令チューニングモデルが含まれており、量子化されたバージョンが利用可能である。 さらに、ホストされたソリューションでは、現在プロプライエタリなモデルには、2つのMixix-of-experts(MoE)亜種(Qwen2.5-TurboとQwen2.5-Plus)が含まれている。 Qwen2.5は、言語理解、推論、数学、コーディング、人間の好みのアライメントなどを評価する幅広いベンチマークで、トップレベルのパフォーマンスを実証した。 具体的には、オープンウェイトフラッグシップのQwen2.5-72B-Instructは、多くのオープンおよびプロプライエタリなモデルより優れており、最先端のオープンウェイトモデルであるLlama-3-405B-Instructと競合する性能を示している。 Qwen2.5-Turbo と Qwen2.5-Plus は、それぞれ GPT-4o-mini と GPT-4o と競合しながら、より優れたコスト効率を提供する。 さらに、Qwen2.5モデルはQwen2.5-Math、Qwen2.5-Coder、QwQ、マルチモーダルモデルといった特殊なモデルのトレーニングに役立っている。

関連論文リスト

• Qwen2.5-Coder Technical Report [105.131580912726]
  先代のCodeQwen1.5から大幅にアップグレードされたQwen2.5-Coderシリーズを紹介します。 コード固有のモデルとして、Qwen2.5-CoderはQwen2.5アーキテクチャに基づいて構築され、5.5兆以上のトークンからなる巨大なコーパスで事前訓練されている。
  論文  参考訳（メタデータ） (2024-09-18T17:57:57Z)
• Qwen2.5-Math Technical Report: Toward Mathematical Expert Model via Self-Improvement [71.46993852662021]
  Qwen2.5-Math と Qwen2.5-Math-Instruct-1.5B/7B/72B である。 Qwen2.5-Math-Instructは中国語と英語の両方をサポートし、高度な数学的推論能力を持っている。
  論文  参考訳（メタデータ） (2024-09-18T16:45:37Z)
• Qwen2 Technical Report [141.0766756297144]
  本稿では,我々の大規模言語モデルと大規模マルチモーダルモデルへの最新の追加であるQwen2シリーズを紹介する。 Qwen2は、前身のQwen1.5を含む、これまでのほとんどのオープンウェイトモデルを超え、プロプライエタリモデルと比較して競争力のある性能を示している。 Qwen2は、英語、中国語、スペイン語、フランス語、ドイツ語、アラビア語、ロシア語、韓国語、日本語、タイ語、ベトナム語など、約30の言語で熟練した堅牢な多言語機能を示している。
  論文  参考訳（メタデータ） (2024-07-15T12:35:42Z)
• InternLM2 Technical Report [159.70692271378581]
  本稿では,オープンソースのLarge Language Models (LLM) であるInternLM2を紹介する。 InternLM2の事前トレーニングプロセスは細部まで詳細に書かれており、多様なデータ型の準備が強調されている。 InternLM2は、4kトークンでトレーニングされた長期的依存関係を効率的にキャプチャし、事前トレーニングおよび微調整の段階で32kトークンに進む。
  論文  参考訳（メタデータ） (2024-03-26T00:53:24Z)
• On Robustness of Finetuned Transformer-based NLP Models [11.063628128069736]
  CKAとSTIRの2つの指標を用いて、事前訓練された言語モデルと微調整された言語モデル間の変化を特徴付ける。 GPT-2表現はBERTやT5よりも複数の入力摂動に対して堅牢である。 この研究は、人気のあるTransformerベースのモデルの摂動固有の弱点に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-23T18:25:18Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• NT5?! Training T5 to Perform Numerical Reasoning [0.8827543048499855]
  テキスト上の数値推論(NRoT)は、既存の事前学習目標ではうまく対処できないユニークな課題を提示します。 T5マルチタスクフレームワークを複数の数値推論データセットでトレーニングすることで、手動で分割機能を設計することなく、難易度を高めることができることを示した。
  論文  参考訳（メタデータ） (2021-04-15T08:34:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。