論文の概要: Yi-Lightning Technical Report

• arxiv url: http://arxiv.org/abs/2412.01253v4
• Date: Sat, 21 Dec 2024 02:36:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:55:04.747725
• Title: Yi-Lightning Technical Report
• Title（参考訳）: Yi照明技術報告
• Authors: Alan Wake, Bei Chen, C. X. Lv, Chao Li, Chengen Huang, Chenglin Cai, Chujie Zheng, Daniel Cooper, Fan Zhou, Feng Hu, Guoyin Wang, Heng Ji, Howard Qiu, Jiangcheng Zhu, Jun Tian, Katherine Su, Lihuan Zhang, Liying Li, Ming Song, Mou Li, Peng Liu, Qicheng Hu, Shawn Wang, Shijun Zhou, Shiming Yang, Shiyong Li, Tianhang Zhu, Wen Xie, Xiang He, Xiaobo Chen, Xiaohui Hu, Xiaoyi Ren, Xinyao Niu, Yanpeng Li, Yongke Zhao, Yongzhen Luo, Yuchi Xu, Yuxuan Sha, Zhaodong Yan, Zhiyuan Liu, Zirui Zhang, Zonghong Dai,
• Abstract要約: Yi-Lightningは私たちの最新のフラッグシップ大型言語モデル(LLM)です。 成績は最高で、アリーナでは6位にランクインした。 従来の静的なベンチマーク結果と実世界の動的人間の嗜好との顕著な相違を観察する。
• 参考スコア（独自算出の注目度）: 63.809154338732355
• License:
• Abstract: This technical report presents Yi-Lightning, our latest flagship large language model (LLM). It achieves exceptional performance, ranking 6th overall on Chatbot Arena, with particularly strong results (2nd to 4th place) in specialized categories including Chinese, Math, Coding, and Hard Prompts. Yi-Lightning leverages an enhanced Mixture-of-Experts (MoE) architecture, featuring advanced expert segmentation and routing mechanisms coupled with optimized KV-caching techniques. Our development process encompasses comprehensive pre-training, supervised fine-tuning (SFT), and reinforcement learning from human feedback (RLHF), where we devise deliberate strategies for multi-stage training, synthetic data construction, and reward modeling. Furthermore, we implement RAISE (Responsible AI Safety Engine), a four-component framework to address safety issues across pre-training, post-training, and serving phases. Empowered by our scalable super-computing infrastructure, all these innovations substantially reduce training, deployment and inference costs while maintaining high-performance standards. With further evaluations on public academic benchmarks, Yi-Lightning demonstrates competitive performance against top-tier LLMs, while we observe a notable disparity between traditional, static benchmark results and real-world, dynamic human preferences. This observation prompts a critical reassessment of conventional benchmarks' utility in guiding the development of more intelligent and powerful AI systems for practical applications. Yi-Lightning is now available through our developer platform at https://platform.lingyiwanwu.com.
• Abstract（参考訳）: このテクニカルレポートでは、最新のフラッグシップ大型言語モデル(LLM)であるYi-Lightningを紹介します。 チャトボット・アリーナで6位となり、特に中国語、数学、コーディング、ハード・プロンプトなどの特殊カテゴリーで強い成績(第2位から第4位)を収めている。 Yi-Lightningは強化されたMixture-of-Experts (MoE)アーキテクチャを活用し、高度な専門家セグメンテーションとルーティング機構を最適化されたKVキャッシング技術と組み合わせている。 我々の開発プロセスは、総合的な事前訓練、教師付き微調整(SFT)、人間からのフィードバックからの強化学習(RLHF)を含み、多段階学習、合成データ構築、報酬モデリングのための計画戦略を考案する。 さらに、プレトレーニング、ポストトレーニング、サービスフェーズにわたる安全性問題に対処する4つのコンポーネントフレームワークであるRAISE(Responsible AI Safety Engine)を実装しています。 スケーラブルなスーパーコンピューティングインフラストラクチャを活用して、これらのイノベーションはすべて、ハイパフォーマンスな標準を維持しながら、トレーニングやデプロイメント、推論コストを大幅に削減します。 公開学術ベンチマークのさらなる評価により、Yi-Lightningは、従来の静的ベンチマーク結果と実世界の動的人間の嗜好との顕著な相違を観察しながら、上位階層のLCMと競合する性能を示す。 この観察は、実用的なアプリケーションのためのよりインテリジェントで強力なAIシステムの開発を導く上で、従来のベンチマークの有用性を批判的に再評価するきっかけとなる。 Yi-Lightningは現在、開発者プラットフォームでhttps://platform.lingyiwanwu.com.comで利用可能です。

関連論文リスト

• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Leveraging Reinforcement Learning and Large Language Models for Code Optimization [14.602997316032706]
  本稿では,コード最適化の複雑さを低減するための新しいフレームワークを提案する。 提案するフレームワークは,大規模言語モデル(LLM)と強化学習(RL)に基づく。 我々は,新しい強化学習アルゴリズムであるCodeT5言語モデルとRRHFを用いて,PIEデータセット上でいくつかの実験を行った。
  論文  参考訳（メタデータ） (2023-12-09T19:50:23Z)
• Evaluating Emerging AI/ML Accelerators: IPU, RDU, and NVIDIA/AMD GPUs [14.397623940689487]
  Graphcore Intelligence Processing Unit (IPU)、Sambanova Reconfigurable Dataflow Unit (RDU)、拡張GPUプラットフォームについてレビューする。 この研究は、これらの商用AI/MLアクセラレータの予備評価と比較を提供する。
  論文  参考訳（メタデータ） (2023-11-08T01:06:25Z)
• Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review [1.6006550105523192]
  大規模言語モデル(LLM)の能力を解き放つ上で,迅速なエンジニアリングが果たす重要な役割を概観する 自己整合性、思考の連鎖、そして生成された知識などの技術を含む、素早い工学の基礎的方法論と先進的な方法論の両方を検査する。 レビューはまた、AI能力の進歩におけるエンジニアリングの急進的な役割を反映し、将来の研究と応用のための構造化されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-10-23T09:15:18Z)
• Efficiency Pentathlon: A Standardized Arena for Efficiency Evaluation [82.85015548989223]
  Pentathlonは、モデル効率の総合的で現実的な評価のためのベンチマークである。 Pentathlonは、モデルライフサイクルにおける計算の大部分を占める推論に焦点を当てている。 レイテンシ、スループット、メモリオーバーヘッド、エネルギー消費など、さまざまな効率面をターゲットにしたメトリクスが組み込まれている。
  論文  参考訳（メタデータ） (2023-07-19T01:05:33Z)
• Measuring what Really Matters: Optimizing Neural Networks for TinyML [7.455546102930911]
  ニューラルネットワーク(NN)は、アーキテクチャと計算の複雑さが前例のない成長を遂げた。 NNをリソース制約のあるデバイスに導入することで、コスト効率の高いデプロイメント、広範な可用性、機密データの保存が可能になる。 この作業は、ユビキタスなARM Cortex-Mアーキテクチャに焦点を当てた、機械学習をMCUに持ち込むという課題に対処する。
  論文  参考訳（メタデータ） (2021-04-21T17:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。