論文の概要: CEBench: A Benchmarking Toolkit for the Cost-Effectiveness of LLM Pipelines
- arxiv url: http://arxiv.org/abs/2407.12797v1
- Date: Thu, 20 Jun 2024 21:36:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 08:57:39.453835
- Title: CEBench: A Benchmarking Toolkit for the Cost-Effectiveness of LLM Pipelines
- Title（参考訳）: CEBench: LLMパイプラインのコスト効果評価のためのベンチマークツールキット
- Authors: Wenbo Sun, Jiaqi Wang, Qiming Guo, Ziyu Li, Wenlu Wang, Rihan Hai,
- Abstract要約: CEBenchは、オンラインの大規模言語モデルをベンチマークするためのオープンソースのツールキットである。
LLMデプロイメントに必要な支出と有効性の間の重要なトレードオフに焦点を当てている。
この能力は、コストへの影響を最小限にしつつ、有効性を最大化することを目的とした重要な意思決定プロセスをサポートします。
- 参考スコア（独自算出の注目度）: 29.25579967636023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online Large Language Model (LLM) services such as ChatGPT and Claude 3 have transformed business operations and academic research by effortlessly enabling new opportunities. However, due to data-sharing restrictions, sectors such as healthcare and finance prefer to deploy local LLM applications using costly hardware resources. This scenario requires a balance between the effectiveness advantages of LLMs and significant financial burdens. Additionally, the rapid evolution of models increases the frequency and redundancy of benchmarking efforts. Existing benchmarking toolkits, which typically focus on effectiveness, often overlook economic considerations, making their findings less applicable to practical scenarios. To address these challenges, we introduce CEBench, an open-source toolkit specifically designed for multi-objective benchmarking that focuses on the critical trade-offs between expenditure and effectiveness required for LLM deployments. CEBench allows for easy modifications through configuration files, enabling stakeholders to effectively assess and optimize these trade-offs. This strategic capability supports crucial decision-making processes aimed at maximizing effectiveness while minimizing cost impacts. By streamlining the evaluation process and emphasizing cost-effectiveness, CEBench seeks to facilitate the development of economically viable AI solutions across various industries and research fields. The code and demonstration are available in \url{https://github.com/amademicnoboday12/CEBench}.
- Abstract（参考訳）: ChatGPT や Claude 3 のようなオンライン大規模言語モデル (LLM) サービスは、新たな機会を積極的に実現することによって、ビジネスオペレーションや学術研究を変革している。
しかし、データ共有の制限のため、医療や金融といった分野は、コストのかかるハードウェアリソースを使用したローカルLLMアプリケーションをデプロイすることを好んでいる。
このシナリオは、LLMの有効性とかなりの財政的負担のバランスを必要とする。
さらに、モデルの急速な進化は、ベンチマーク作業の頻度と冗長性を高める。
既存のベンチマークツールキットは、有効性に重点を置いており、しばしば経済的な考察を見落としており、その発見は実践的なシナリオには適用できない。
CEBenchは多目的ベンチマークに特化して設計されたオープンソースのツールキットで、LLMデプロイメントに必要な支出と有効性の間の重要なトレードオフに焦点を当てている。
CEBenchは構成ファイルを簡単に変更できるので、ステークホルダーはこれらのトレードオフを効果的に評価し、最適化することができる。
この戦略的能力は、コストへの影響を最小限にしつつ、有効性を最大化することを目的とした重要な意思決定プロセスをサポートします。
CEBenchは、評価プロセスの合理化とコスト効率の強調により、さまざまな産業や研究分野における経済的に実行可能なAIソリューションの開発を促進することを目指している。
コードとデモは \url{https://github.com/amademicnoboday12/CEBench} で公開されている。
関連論文リスト
- A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。
本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
論文 参考訳（メタデータ） (2024-10-24T14:31:52Z) - EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。
多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。
最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-08T17:54:03Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-08-15T16:45:16Z) - EventChat: Implementation and user-centric evaluation of a large language model-driven conversational recommender system for exploring leisure events in an SME context [0.9999629695552196]
大規模言語モデル(LLM)は、対話レコメンデーションシステム(CRS)の戦略的ポテンシャルにおいて大きな進化をもたらす。
しかし、研究は主に、エンドユーザー評価や企業への戦略的影響ではなく、LCM主導のCRSを実装するための技術フレームワークに焦点を当てている。
目的システムメトリクスと主観的ユーザ評価の両方を用いて,LCM駆動型CRSを中小企業環境で設計し,それに続く性能について詳述する。
論文 参考訳（メタデータ） (2024-07-05T12:42:31Z) - Benchmarking Open-Source Language Models for Efficient Question Answering in Industrial Applications [0.0]
大規模言語モデル (LLM) は質問応答 (QA) のようなタスクにおいて顕著な機能を示した。
本稿では,オープンソース LLM とオープンソースでない LLM を比較し,質問応答の課題について総合的なベンチマーク研究を行う。
論文 参考訳（メタデータ） (2024-06-19T17:11:51Z) - Assessing Economic Viability: A Comparative Analysis of Total Cost of Ownership for Domain-Adapted Large Language Models versus State-of-the-art Counterparts in Chip Design Coding Assistance [10.364901568556435]
本稿では,ドメイン適応型大言語モデル (LLM) と最先端LLM (SoTA) の比較検討を行った。
論文 参考訳（メタデータ） (2024-04-12T23:37:56Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳（メタデータ） (2024-03-12T13:31:14Z) - SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。
高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。
SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
論文 参考訳（メタデータ） (2024-03-11T17:45:47Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳（メタデータ） (2024-02-26T18:59:03Z) - On Leveraging Large Language Models for Enhancing Entity Resolution: A Cost-efficient Approach [7.996010840316654]
本稿では,Large Language Models (LLMs) を用いた不確実性低減フレームワークを提案する。
LLMは、先進的な言語能力と、広範なデータサイエンスの専門知識を持たない人々に対して大きな利点をもたらす「従量制」モデルに便乗している。
我々は,本手法が効率的かつ効果的であることを示し,実世界のタスクに有望な応用を提供する。
論文 参考訳（メタデータ） (2024-01-07T09:06:58Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。