論文の概要: Characterizing and Efficiently Accelerating Multimodal Generation Model Inference

• arxiv url: http://arxiv.org/abs/2410.00215v1
• Date: Mon, 30 Sep 2024 20:24:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 06:56:01.907640
• Title: Characterizing and Efficiently Accelerating Multimodal Generation Model Inference
• Title（参考訳）: マルチモーダル生成モデル推論の特性と高速化
• Authors: Yejin Lee, Anna Sun, Basil Hosmer, Bilge Acun, Can Balioglu, Changhan Wang, Charles David Hernandez, Christian Puhrsch, Daniel Haziza, Driss Guessous, Francisco Massa, Jacob Kahn, Jeffrey Wan, Jeremy Reizenstein, Jiaqi Zhai, Joe Isaacson, Joel Schlosser, Juan Pino, Kaushik Ram Sadagopan, Leonid Shamis, Linjian Ma, Min-Jae Hwang, Mingda Chen, Mostafa Elhoushi, Pedro Rodriguez, Ram Pasunuru, Scott Yih, Sravya Popuri, Xing Liu, Carole-Jean Wu,
• Abstract要約: 本稿では,実システム上でのマルチモーダル生成モデルのファミリーを特徴付けることにより,鍵となるシステム設計と最適化の機会を指摘する。 我々は、アプリケーションからシステムソフトウェア、ハードウェアまで、最先端の最適化レバーが3.88倍のベースラインを設定できることを実証した。
• 参考スコア（独自算出の注目度）: 37.73921084394137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative artificial intelligence (AI) technology is revolutionizing the computing industry. Not only its applications have broadened to various sectors but also poses new system design and optimization opportunities. The technology is capable of understanding and responding in multiple modalities. However, the advanced capability currently comes with significant system resource demands. To sustainably scale generative AI capabilities to billions of users in the world, inference must be fast and efficient. This paper pinpoints key system design and optimization opportunities by characterizing a family of emerging multi-modal generation models on real systems. Auto-regressive token generation is a critical latency performance bottleneck, typically dominated by GPU idle time. In addition to memory-intensive attention across the generative AI models, linear operations constitute significant inference latency due to the feed forward networks in Transformer-based models. We demonstrate that state-of-the-art optimization levers, spanning from applications to system software and hardware, set a 3.88x better baseline.
• Abstract（参考訳）: 生成人工知能(AI)技術は、コンピューティング産業に革命をもたらしている。 その応用は様々な分野に拡大しただけでなく、新しいシステム設計と最適化の機会ももたらした。 この技術は、複数のモードで理解し、応答することができる。 しかし、現在の高度な機能には、重要なシステムリソース要求が伴っている。 生成的AI能力を世界中の何十億ものユーザーに持続的に拡張するには、推論は迅速かつ効率的でなければならない。 本稿では,実システム上でのマルチモーダル生成モデルのファミリーを特徴付けることにより,鍵となるシステム設計と最適化の機会を示す。 自動回帰トークン生成は、一般的にGPUアイドル時間に支配される、重要なレイテンシパフォーマンスボトルネックである。 生成AIモデル全体のメモリ集約的な注意に加えて、線形操作はTransformerベースのモデルにおけるフィードフォワードネットワークによる大きな推論レイテンシを構成する。 我々は、アプリケーションからシステムソフトウェア、ハードウェアまで、最先端の最適化レバーが3.88倍のベースラインを設定できることを実証した。

関連論文リスト

• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Benchmarking Deep Learning Models on NVIDIA Jetson Nano for Real-Time Systems: An Empirical Investigation [2.3636539018632616]
  この研究は、複雑なディープラーニングモデルの最適化を実証的に研究し、組み込みデバイス上で機能を分析する。 画像分類と映像行動検出のための推論速度の観点から最適化されたモデルの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-25T17:34:52Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• A Survey of Serverless Machine Learning Model Inference [0.0]
  ジェネレーティブAI、コンピュータビジョン、自然言語処理は、AIモデルをさまざまな製品に統合するきっかけとなった。 本調査は,大規模ディープラーニングサービスシステムにおける新たな課題と最適化の機会を要約し,分類することを目的としている。
  論文  参考訳（メタデータ） (2023-11-22T18:46:05Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Efficient Machine Learning, Compilers, and Optimizations for Embedded Systems [21.098443474303462]
  Deep Neural Networks(DNN)は、高品質なコンピュータビジョン、自然言語処理、仮想現実アプリケーションを提供することによって、膨大な数の人工知能(AI)アプリケーションで大きな成功を収めている。 これらの新興AIアプリケーションは、計算とメモリ要求の増大も伴うため、特に限られた/メモリリソース、厳格な電力予算、小さなフォームファクタが要求される組み込みシステムでは、処理が困難である。 本章では,効率的なアルゴリズム,コンパイラ,組込みシステムに対するさまざまな最適化を実現するための,効率的な設計手法を紹介する。
  論文  参考訳（メタデータ） (2022-06-06T02:54:05Z)
• How to Reach Real-Time AI on Consumer Devices? Solutions for Programmable and Custom Architectures [7.085772863979686]
  ディープニューラルネットワーク(DNN)は、オブジェクトや音声認識など、さまざまな人工知能(AI)推論タスクにおいて大きな進歩をもたらした。 このようなAIモデルをコモディティデバイスにデプロイすることは、大きな課題に直面している。 クロススタック手法によりリアルタイムな性能を実現する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-21T11:23:12Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。