論文の概要: The Solution for the AIGC Inference Performance Optimization Competition

• arxiv url: http://arxiv.org/abs/2407.04991v1
• Date: Sat, 6 Jul 2024 07:54:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 21:37:47.028355
• Title: The Solution for the AIGC Inference Performance Optimization Competition
• Title（参考訳）: AIGC推論性能最適化コンペティションのソリューション
• Authors: Sishun Pan, Haonan Xu, Zhonghua Wan, Yang Yang,
• Abstract要約: ChatGPTは、人間レベルの会話能力を示し、2022年末までに1億人の月間ユーザーを惹きつけ、広く普及している。 本稿では、Ernieモデルの高性能推論の最適化、GPUアクセラレーションの強調、Paddle推論フレームワークの活用に焦点を当てる。
• 参考スコア（独自算出の注目度）: 3.2865956680093076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, the rapid advancement of large-scale pre-trained language models based on transformer architectures has revolutionized natural language processing tasks. Among these, ChatGPT has gained widespread popularity, demonstrating human-level conversational abilities and attracting over 100 million monthly users by late 2022. Concurrently, Baidu's commercial deployment of the Ernie Wenxin model has significantly enhanced marketing effectiveness through AI-driven technologies. This paper focuses on optimizing high-performance inference for Ernie models, emphasizing GPU acceleration and leveraging the Paddle inference framework. We employ techniques such as Faster Transformer for efficient model processing, embedding layer pruning to reduce computational overhead, and FP16 half-precision inference for enhanced computational efficiency. Additionally, our approach integrates efficient data handling strategies using multi-process parallel processing to minimize latency. Experimental results demonstrate that our optimized solution achieves up to an 8.96x improvement in inference speed compared to standard methods, while maintaining competitive performance.
• Abstract（参考訳）: 近年,トランスフォーマーアーキテクチャに基づく大規模事前学習型言語モデルの急速な進歩は,自然言語処理タスクに革命をもたらした。 このうちChatGPTは、人間レベルの会話能力を示し、2022年末までに1億人以上の月間ユーザーを惹きつけ、広く普及している。 同時にBaiduのErnie Wenxinモデルの商用展開は、AI駆動技術によるマーケティング効果を著しく向上させた。 本稿では、Ernieモデルの高性能推論の最適化、GPUアクセラレーションの強調、Paddle推論フレームワークの活用に焦点を当てる。 我々は,効率的なモデル処理のために高速トランスフォーマー,計算オーバーヘッドを低減するために埋め込み層プルーニング,計算効率を向上させるためにFP16半精度推論などの手法を用いる。 さらに,マルチプロセス並列処理を用いた効率的なデータ処理戦略を統合し,レイテンシを最小化する。 実験の結果,最適化されたソリューションは,競争性能を維持しつつ,標準手法に比べて推算速度が最大8.96倍向上することがわかった。

関連論文リスト

• Accelerating AI Performance using Anderson Extrapolation on GPUs [2.114333871769023]
  Anderson外挿を利用したAI性能向上のための新しい手法を提案する。 混合ペナルティが生じるクロスオーバー点を特定することにより、反復を収束に還元することに焦点を当てる。 高速コンピューティングの領域におけるスケーラビリティと効率性の拡張を動機とした,トレーニングと推論の両面での大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-10-25T10:45:17Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,新しいパイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法に比べて,プリフィルスループットが平均21%向上していることが判明した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models [14.310720048047136]
  ALPSは,演算子分割法と事前条件付き勾配共役型後処理法を用いて,プルーニング問題に対処する最適化ベースのフレームワークである。 提案手法はベクトル化とGPU並列性を有効利用しながら収束を加速し理論的に保証する新しい手法を取り入れている。 OPT-30Bモデルでは70%の間隔で、ALPSはWikiTextデータセットにおけるテストの難易度を13%削減し、既存の手法と比較してゼロショットベンチマークのパフォーマンスを19%改善した。
  論文  参考訳（メタデータ） (2024-06-12T02:57:41Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Dynamic Transformers Provide a False Sense of Efficiency [75.39702559746533]
  マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。 本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。 GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
  論文  参考訳（メタデータ） (2023-05-20T16:41:48Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Fast as CHITA: Neural Network Pruning with Combinatorial Optimization [9.440450886684603]
  本稿では,複数重みの重み付けと重み付けの併用効果を両立する最適化型プルーニングフレームワークを提案する。 我々のアプローチであるCHITAは、古典的なBrain Surgeonフレームワークを拡張し、スピード、メモリ、パフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2023-02-28T15:03:18Z)
• Learning Performance-Improving Code Edits [107.21538852090208]
  本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。 まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。 提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
  論文  参考訳（メタデータ） (2023-02-15T18:59:21Z)
• ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise [20.779167087445995]
  事前訓練されたトランスフォーマーベースの言語モデルは、多くの自然言語理解タスクにおいて劇的に改善されている。 ScaLAは変圧器ネットワークの高速化のための,新規かつ効率的な手法である。 実験の結果、ScaLAはBERTベースのRoBERTa-large上でGLLAのベースライン上で2.7-UE-9.8$times$アダプティブ・スピードアップを達成した。
  論文  参考訳（メタデータ） (2022-01-29T01:47:01Z)
• Easy and Efficient Transformer : Scalable Inference Solution For large NLP mode [14.321889138798072]
  本稿では,超大規模事前学習モデル最適化手法を提案する。 推論エンジンとして Easy and Efficient Transformer (EET) が提案されている。 EETは、コンテキストの長さに応じて1.5-15倍のスピードアップを達成します。
  論文  参考訳（メタデータ） (2021-04-26T11:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。