論文の概要: Qwen2.5 Technical Report

• arxiv url: http://arxiv.org/abs/2412.15115v2
• Date: Fri, 03 Jan 2025 02:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:09:57.819007
• Title: Qwen2.5 Technical Report
• Title（参考訳）: Qwen2.5テクニカルレポート
• Authors: Qwen, :, An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tianyi Tang, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zihan Qiu,
• Abstract要約: Qwen2.5は多種多様なニーズに対応するように設計された大規模言語モデル(LLM)の包括的シリーズである。 以前のイテレーションと比較して、Qwen 2.5はトレーニング前とトレーニング後の両方で大幅に改善されている。 オープンウェイト製品には、ベースモデルと命令チューニングモデルが含まれており、量子化されたバージョンが利用可能である。 ホスト型ソリューションでは、現在プロプライエタリなモデルには、Qwen2.5-TurboとQwen2.5-Plusの2つの混合型(MoE)が含まれている。
• 参考スコア（独自算出の注目度）: 122.13958993185952
• License:
• Abstract: In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) designed to meet diverse needs. Compared to previous iterations, Qwen 2.5 has been significantly improved during both the pre-training and post-training stages. In terms of pre-training, we have scaled the high-quality pre-training datasets from the previous 7 trillion tokens to 18 trillion tokens. This provides a strong foundation for common sense, expert knowledge, and reasoning capabilities. In terms of post-training, we implement intricate supervised finetuning with over 1 million samples, as well as multistage reinforcement learning. Post-training techniques enhance human preference, and notably improve long text generation, structural data analysis, and instruction following. To handle diverse and varied use cases effectively, we present Qwen2.5 LLM series in rich sizes. Open-weight offerings include base and instruction-tuned models, with quantized versions available. In addition, for hosted solutions, the proprietary models currently include two mixture-of-experts (MoE) variants: Qwen2.5-Turbo and Qwen2.5-Plus, both available from Alibaba Cloud Model Studio. Qwen2.5 has demonstrated top-tier performance on a wide range of benchmarks evaluating language understanding, reasoning, mathematics, coding, human preference alignment, etc. Specifically, the open-weight flagship Qwen2.5-72B-Instruct outperforms a number of open and proprietary models and demonstrates competitive performance to the state-of-the-art open-weight model, Llama-3-405B-Instruct, which is around 5 times larger. Qwen2.5-Turbo and Qwen2.5-Plus offer superior cost-effectiveness while performing competitively against GPT-4o-mini and GPT-4o respectively. Additionally, as the foundation, Qwen2.5 models have been instrumental in training specialized models such as Qwen2.5-Math, Qwen2.5-Coder, QwQ, and multimodal models.
• Abstract（参考訳）: 本稿では,多種多様なニーズに対応するために設計された大規模言語モデル(LLM)の包括的シリーズであるQwen2.5を紹介する。 以前のイテレーションと比較して、Qwen 2.5はトレーニング前とトレーニング後の両方で大幅に改善されている。 事前トレーニングに関しては、前回の7兆トークンから18兆トークンまで、高品質な事前トレーニングデータセットをスケールしました。 これは、常識、専門家の知識、推論能力の強力な基盤を提供する。 ポストトレーニングでは,100万以上のサンプルを用いた複雑な教師付き微調整と多段階強化学習を実装した。 ポストトレーニング技術は人間の嗜好を高め、特に長文生成、構造データ分析、命令フォローを改善する。 多様なユースケースを効果的に扱うために,我々はQwen2.5 LLMシリーズを多種多様なサイズで提示する。 オープンウェイト製品には、ベースモデルと命令チューニングモデルが含まれており、量子化されたバージョンが利用可能である。 さらに、ホストされたソリューションでは、現在プロプライエタリなモデルには、2つのMixix-of-experts(MoE)亜種(Qwen2.5-TurboとQwen2.5-Plus)が含まれている。 Qwen2.5は、言語理解、推論、数学、コーディング、人間の好みのアライメントなどを評価する幅広いベンチマークで、トップレベルのパフォーマンスを実証した。 具体的には、オープンウェイトフラッグシップのQwen2.5-72B-Instructは、多くのオープンおよびプロプライエタリなモデルより優れており、最先端のオープンウェイトモデルであるLlama-3-405B-Instructと競合する性能を示している。 Qwen2.5-Turbo と Qwen2.5-Plus は、それぞれ GPT-4o-mini と GPT-4o と競合しながら、より優れたコスト効率を提供する。 さらに、Qwen2.5モデルはQwen2.5-Math、Qwen2.5-Coder、QwQ、マルチモーダルモデルといった特殊なモデルのトレーニングに役立っている。

関連論文リスト

• Qwen2.5-VL Technical Report [57.43576033343722]
  Qwen2.5-VLは、視覚認識の強化により、世界の理解と対話において大きな飛躍を遂げる。 請求書、フォーム、テーブルからの堅牢な構造化データ抽出と、チャート、ダイアグラム、レイアウトの詳細な分析を提供する。 Qwen2.5-VLは3つのサイズで利用可能で、エッジAIからハイパフォーマンスコンピューティングまで、さまざまなユースケースに対応している。
  論文  参考訳（メタデータ） (2025-02-19T18:00:14Z)
• ACECODER: Acing Coder RL via Automated Test-Case Synthesis [36.740393665032954]
  既存のコードデータから広範な(問い合わせ、テストケース)ペアを生成するパイプラインを設計します。 我々は,Bradley-Terry損失を伴う報酬モデルをトレーニングするために,サンプルプログラムのパスレートに基づいて選好ペアを構築した。 RLトレーニングは,80段階の最適化ステップにおいて,HumanEval+を25%以上,MBPP+を6%以上改善できることを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:46:04Z)
• Qwen2.5-1M Technical Report [72.09755998661568]
  コンテクスト長を100万トークンまで拡張する一連のモデルであるQwen2.5-1Mを紹介する。 我々の推論フレームワークを活用することで、Qwen2.5-1Mモデルは驚くべき3倍から7倍のプリフィルスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-01-26T03:47:25Z)
• Directional Diffusion-Style Code Editing Pre-training [23.559074575821683]
  データレベルでの方向拡散に基づく事前学習モデルであるDivoT5を提案する。 DivoT5は、ほとんどのタスクにおいて、同じスケールのモデルと比較して、最先端のSOTA(State-of-the-art)パフォーマンスを実現している。 1つのコード編集タスク(すなわち、自動コードレビュー)では、CodeT5-small (60M)上で事前訓練されたDivoT5は、CodeT5-base (220M)よりも優れている。
  論文  参考訳（メタデータ） (2025-01-21T12:10:18Z)
• Qwen2.5-Coder Technical Report [105.131580912726]
  先代のCodeQwen1.5から大幅にアップグレードされたQwen2.5-Coderシリーズを紹介します。 コード固有のモデルとして、Qwen2.5-CoderはQwen2.5アーキテクチャに基づいて構築され、5.5兆以上のトークンからなる巨大なコーパスで事前訓練されている。
  論文  参考訳（メタデータ） (2024-09-18T17:57:57Z)
• Qwen2.5-Math Technical Report: Toward Mathematical Expert Model via Self-Improvement [71.46993852662021]
  Qwen2.5-Math と Qwen2.5-Math-Instruct-1.5B/7B/72B である。 Qwen2.5-Math-Instructは中国語と英語の両方をサポートし、高度な数学的推論能力を持っている。
  論文  参考訳（メタデータ） (2024-09-18T16:45:37Z)
• InternLM2 Technical Report [159.70692271378581]
  本稿では,オープンソースのLarge Language Models (LLM) であるInternLM2を紹介する。 InternLM2の事前トレーニングプロセスは細部まで詳細に書かれており、多様なデータ型の準備が強調されている。 InternLM2は、4kトークンでトレーニングされた長期的依存関係を効率的にキャプチャし、事前トレーニングおよび微調整の段階で32kトークンに進む。
  論文  参考訳（メタデータ） (2024-03-26T00:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。