論文の概要: OpenBA-V2: Reaching 77.3% High Compression Ratio with Fast Multi-Stage Pruning

• arxiv url: http://arxiv.org/abs/2405.05957v1
• Date: Thu, 9 May 2024 17:53:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 12:33:18.748622
• Title: OpenBA-V2: Reaching 77.3% High Compression Ratio with Fast Multi-Stage Pruning
• Title（参考訳）: OpenBA-V2: 高速マルチステージプルーニングによる77.3%高圧縮率の達成
• Authors: Dan Qiao, Yi Su, Pinzheng Wang, Jing Ye, Wenjing Xie, Yuechi Zhou, Yuyang Ding, Zecheng Tang, Jikai Wang, Yixin Ji, Yue Wang, Pei Guo, Zechen Sun, Zikang Zhang, Juntao Li, Pingfu Chao, Wenliang Chen, Guohong Fu, Guodong Zhou, Qiaoming Zhu, Min Zhang,
• Abstract要約: マルチステージ圧縮と15B OpenBAモデルからの継続事前学習から派生した3.4BモデルであるOpenBA-V2を紹介する。 OpenBA-V2は、より多くのデータ、より柔軟な訓練目標、レイヤープルーニング、ニューラルプルーニング、ボキャブラリプルーニングといった技術を利用して、パフォーマンス損失を最小限に抑えた77.3%の圧縮速度を達成する。
• 参考スコア（独自算出の注目度）: 47.37717859805702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have played an important role in many fields due to their powerful capabilities.However, their massive number of parameters leads to high deployment requirements and incurs significant inference costs, which impedes their practical applications. Training smaller models is an effective way to address this problem. Therefore, we introduce OpenBA-V2, a 3.4B model derived from multi-stage compression and continual pre-training from the original 15B OpenBA model. OpenBA-V2 utilizes more data, more flexible training objectives, and techniques such as layer pruning, neural pruning, and vocabulary pruning to achieve a compression rate of 77.3\% with minimal performance loss. OpenBA-V2 demonstrates competitive performance compared to other open-source models of similar size, achieving results close to or on par with the 15B OpenBA model in downstream tasks such as common sense reasoning and Named Entity Recognition (NER). OpenBA-V2 illustrates that LLMs can be compressed into smaller ones with minimal performance loss by employing advanced training objectives and data strategies, which may help deploy LLMs in resource-limited scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、その強力な能力のために多くの分野で重要な役割を担っているが、その膨大な数のパラメータは、高いデプロイメント要求をもたらし、かなりの推論コストを発生させ、実用的な応用を妨げる。 より小さなモデルをトレーニングすることは、この問題に対処するための効果的な方法です。 そこで,OpenBA-V2は,マルチステージ圧縮から派生した3.4Bモデルであり,最初の15B OpenBAモデルから連続的な事前学習を行う。 OpenBA-V2は、より多くのデータ、より柔軟な訓練目標、レイヤープルーニング、ニューラルプルーニング、ボキャブラリプルーニングといった技術を利用して、パフォーマンス損失を最小限に抑えた77.3\%の圧縮速度を達成する。 OpenBA-V2は、同様のサイズの他のオープンソースモデルと比較して、共通センス推論や名前付きエンティティ認識(NER)といった下流タスクにおいて、15B OpenBAモデルと同等または同等の結果を達成している。 OpenBA-V2は、高度なトレーニング目標とデータ戦略を用いることで、LLMを最小限のパフォーマンス損失で小さなものに圧縮できることを示している。

関連論文リスト

• Compact Language Models via Pruning and Knowledge Distillation [61.56557874432008]
  ミニトロンモデルでは、スクラッチからのトレーニングに比べてMMLUスコアが最大16%改善している。 すでにトレーニング済みの15Bモデルから8Bと4Bモデルを抽出するには、スクラッチからトレーニングするよりも、モデル毎のトレーニングトークンを最大40倍少なくする必要があります。
  論文  参考訳（メタデータ） (2024-07-19T21:47:57Z)
• OpenVLA: An Open-Source Vision-Language-Action Model [131.74098076670103]
  我々は、970kの現実世界のロボットデモの多様なコレクションに基づいて訓練されたオープンソースのVLAであるOpenVLAを紹介した。 OpenVLAは汎用的な操作の強力な結果を示し、RT-2-X (55B) のようなクローズドモデルよりも16.5%高い絶対的なタスク成功率を示した。 モデルチェックポイント、微調整ノートブック、そしてOpen X-Embodimentデータセット上で大規模にVLAをトレーニングするためのビルトインサポートを備えたPyTorchをリリースしています。
  論文  参考訳（メタデータ） (2024-06-13T15:46:55Z)
• Efficient Parallelization Layouts for Large-Scale Distributed Model Training [17.16249954009967]
  本研究では,大規模言語モデルのトレーニング構成に関する総合的研究を行う。 マイクロバッチサイズを1にすることで,トレーニングレイアウトの効率が向上するのが普通だ。 最も効率的な構成により、さまざまなモデルサイズに対して最先端のトレーニング効率を達成できます。
  論文  参考訳（メタデータ） (2023-11-09T18:59:38Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)
• OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch [41.45002811060755]
  本報告では,オープンソースの15Bバイリンガル非対称seq2seqモデルであるOpenBAについて述べる。 OpenBAを効果的かつ効率的な技術で強化するとともに,スクラッチからモデルをトレーニングするための3段階のトレーニング戦略を採用しています。 私たちのソリューションは、380Bトークンだけで非常に競争力のあるパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2023-09-19T15:46:40Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• FedCLIP: Fast Generalization and Personalization for CLIP in Federated Learning [18.763298147996238]
  近年,プライバシ保護計算の新しいパラダイムとしてフェデレートラーニング(FL)が登場している。 FLはその実際のパフォーマンスを妨げる2つの重要な課題に直面している。 FLにおけるCLIPの迅速な一般化とパーソナライズを実現するためのFedCLIPを提案する。
  論文  参考訳（メタデータ） (2023-02-27T02:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。