論文の概要: Deploying Open-Source Large Language Models: A performance Analysis

• arxiv url: http://arxiv.org/abs/2409.14887v1
• Date: Tue, 24 Sep 2024 18:26:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 21:27:33.236719
• Title: Deploying Open-Source Large Language Models: A performance Analysis
• Title（参考訳）: オープンソースの大規模言語モデルをデプロイする: パフォーマンス分析
• Authors: Yannis Bendi-Ouis, Dan Dutarte, Xavier Hinaut,
• Abstract要約: ChatGPTは2023年11月にリリースされた。大規模言語モデル(LLM)は大きな成功を収めている。 この研究は、様々なアプリケーション領域におけるこれらの大きな言語モデルの採用と利用の促進に寄与する。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since the release of ChatGPT in November 2023, large language models (LLMs) have seen considerable success, including in the open-source community, with many open-weight models available. However, the requirements to deploy such a service are often unknown and difficult to evaluate in advance. To facilitate this process, we conducted numerous tests at the Centre Inria de l'Universit\'e de Bordeaux. In this article, we propose a comparison of the performance of several models of different sizes (mainly Mistral and LLaMa) depending on the available GPUs, using vLLM, a Python library designed to optimize the inference of these models. Our results provide valuable information for private and public groups wishing to deploy LLMs, allowing them to evaluate the performance of different models based on their available hardware. This study thus contributes to facilitating the adoption and use of these large language models in various application domains.
• Abstract（参考訳）: 2023年11月にChatGPTがリリースされて以来、大規模な言語モデル(LLM)は、オープンソースコミュニティを含む多くのオープンウェイトモデルを含む、かなりの成功を収めてきた。 しかし、そのようなサービスをデプロイする要件はしばしば不明であり、事前に評価することは困難である。 このプロセスを容易にするため、我々はボルドー大学(Central Inria de l'Universit\'e de Bordeaux)で多数の試験を行った。 本稿では,これらのモデルの推論を最適化するために設計されたPythonライブラリであるvLLMを用いて,利用可能なGPUに依存して,異なるサイズのモデル(主にMistralとLLaMa)の性能の比較を行う。 この結果から,LLMのデプロイを希望するプライベートグループやパブリックグループに対して貴重な情報を提供し,利用可能なハードウェアに基づいて,異なるモデルの性能を評価することができる。 そこで本研究では,様々なアプリケーション領域において,これらの大規模言語モデルの採用と利用を促進するために貢献する。

関連論文リスト

• MoD: A Distribution-Based Approach for Merging Large Language Models [0.0]
  大規模言語モデル(LLM)は、多くの専門的なタスク固有の変種の開発を可能にした。 LLMをマージするための新しいアプローチであるTextitMixture of Distributions (MoD)フレームワークを提案する。 従来の重量測定法とは異なり、MoDは個々のモデルの特殊能力を効果的に保存する。
  論文  参考訳（メタデータ） (2024-11-01T07:05:29Z)
• EmbedLLM: Learning Compact Representations of Large Language Models [28.49433308281983]
  大規模言語モデルのコンパクトなベクトル表現を学習するためのフレームワークである EmbedLLM を提案する。 このような埋め込みを学習するためのエンコーダ-デコーダアプローチと,その有効性を評価するための体系的なフレームワークを導入する。 EmbedLLMはモデルルーティングにおいて,精度とレイテンシの両方において,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-03T05:43:24Z)
• MALPOLON: A Framework for Deep Species Distribution Modeling [3.1457219084519004]
  MALPOLONは深部種分布モデル(deep-SDM)の訓練と推測を容易にすることを目的としている Pythonで書かれ、PyTorchライブラリ上に構築されている。 このフレームワークはGitHubとPyPiでオープンソース化されている。
  論文  参考訳（メタデータ） (2024-09-26T17:45:10Z)
• CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
  我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。 以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。 このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-21T08:21:12Z)
• Sentinels of the Stream: Unleashing Large Language Models for Dynamic Packet Classification in Software Defined Networks -- Position Paper [0.0]
  本稿では,ネットワークセキュリティ分野における大規模言語モデルの適用可能性について検討する。 我々は,LLMであるSentinelを作成し,ネットワークパケットの内容を分析し,その脅威レベルを判断する。
  論文  参考訳（メタデータ） (2024-02-10T04:47:58Z)
• CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
  CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。 モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
  論文  参考訳（メタデータ） (2023-12-01T08:02:16Z)
• Herd: Using multiple, smaller LLMs to match the performances of proprietary, large LLMs via an intelligent composer [1.3108652488669732]
  オープンソースモデルの群れは、インテリジェントルータを介して、プロプライエタリなモデルのパフォーマンスに適合または超えることができることを示す。 GPTがクエリに答えられない場合、Herdは少なくとも40%の確率でモデルを特定できる。
  論文  参考訳（メタデータ） (2023-10-30T18:11:02Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• WanJuan: A Comprehensive Multimodal Dataset for Advancing English and Chinese Large Models [69.96148259273065]
  ワンフアン(Wan Juan)は、中国語と英語のデータからなる大規模なマルチモーダルデータセットであり、幅広いWebソースから収集されている。 同様のスケールのモデルと比較して,多次元評価において有意な優位性を示すモデルであるInternLMのトレーニングに利用された。
  論文  参考訳（メタデータ） (2023-08-21T14:40:48Z)
• BLOOM: A 176B-Parameter Open-Access Multilingual Language Model [264.96498474333697]
  大規模言語モデル(LLM)は、いくつかのデモや自然言語命令に基づいて新しいタスクを実行できることが示されている。 BLOOMは、176Bパラメータのオープンアクセス言語モデルであり、数百人の研究者の協力により設計・構築されている。 BLOOMは、RATSコーパスでトレーニングされたデコーダのみのトランスフォーマー言語モデルである。
  論文  参考訳（メタデータ） (2022-11-09T18:48:09Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。