論文の概要: Assessing Economic Viability: A Comparative Analysis of Total Cost of Ownership for Domain-Adapted Large Language Models versus State-of-the-art Counterparts in Chip Design Coding Assistance
- arxiv url: http://arxiv.org/abs/2404.08850v1
- Date: Fri, 12 Apr 2024 23:37:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 18:22:57.616135
- Title: Assessing Economic Viability: A Comparative Analysis of Total Cost of Ownership for Domain-Adapted Large Language Models versus State-of-the-art Counterparts in Chip Design Coding Assistance
- Title(参考訳): 経済性の評価: チップ設計符号化支援におけるドメイン適応型大規模言語モデルの総所有コストと最先端カウンタの比較分析
- Authors: Amit Sharma, Teodor-Dumitru Ene, Kishor Kunal, Mingjie Liu, Zafar Hasan, Haoxing Ren,
- Abstract要約: 本稿では,ドメイン適応型大言語モデル (LLM) と最先端LLM (SoTA) の比較検討を行った。
- 参考スコア(独自算出の注目度): 10.364901568556435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a comparative analysis of total cost of ownership (TCO) and performance between domain-adapted large language models (LLM) and state-of-the-art (SoTA) LLMs , with a particular emphasis on tasks related to coding assistance for chip design. We examine the TCO and performance metrics of a domain-adaptive LLM, ChipNeMo, against two leading LLMs, Claude 3 Opus and ChatGPT-4 Turbo, to assess their efficacy in chip design coding generation. Through a detailed evaluation of the accuracy of the model, training methodologies, and operational expenditures, this study aims to provide stakeholders with critical information to select the most economically viable and performance-efficient solutions for their specific needs. Our results underscore the benefits of employing domain-adapted models, such as ChipNeMo, that demonstrate improved performance at significantly reduced costs compared to their general-purpose counterparts. In particular, we reveal the potential of domain-adapted LLMs to decrease TCO by approximately 90%-95%, with the cost advantages becoming increasingly evident as the deployment scale expands. With expansion of deployment, the cost benefits of ChipNeMo become more pronounced, making domain-adaptive LLMs an attractive option for organizations with substantial coding needs supported by LLMs
- Abstract(参考訳): 本稿では,チップ設計におけるコーディング支援に関するタスクを中心に,ドメイン適応型大規模言語モデル (LLM) と最先端LLM (SoTA) の総所有コスト(TCO) と性能の比較分析を行った。
我々は,Claude 3 Opus と ChatGPT-4 Turbo の2つの主要な LLM に対して,ドメイン適応型 LLM である ChipNeMo の TCO と性能指標を比較し,チップ設計符号生成の有効性を評価する。
本研究は, モデルの精度, 訓練方法, 運用費の詳細な評価を通じて, 利害関係者に対して, 特定のニーズに対して最も経済的に実行可能な, 性能効率の良いソリューションを選択するための重要な情報を提供することを目的とする。
この結果から,ChipNeMoのようなドメイン適応モデルを採用することで,汎用モデルに比べて大幅なコスト削減による性能向上を図った。
特に、ドメイン適応型LCMがTCOを約90%-95%削減する可能性を明らかにし、デプロイメントの規模が拡大するにつれて、コストのアドバンテージがますます明らかになる。
デプロイメントの拡大に伴い、ChipNeMoのコストメリットはより顕著になり、ドメイン適応型LLMは、LLMがサポートしているコーディングニーズの高い組織にとって魅力的な選択肢となる。
関連論文リスト
- Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。
我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。
提案手法は,GSM8K,MATH,SciQ上でのMistral-7B Supervised Fine-Tuning(SFT)ベースラインよりも優れている。
論文 参考訳(メタデータ) (2024-05-01T11:10:24Z) - Leveraging Zero-Shot Prompting for Efficient Language Model Distillation [3.4205390087622582]
本稿では, LLMをより小さく, アプリケーション固有のモデルに効率よく蒸留する方法を提案する。
LLMの推論機能を利用してラベルを生成し、ラベルのないデータに対して自然言語の合理性を生成する。
主な貢献は、教師モデルの合理性を引き出すため、ゼロショットの雇用である。
論文 参考訳(メタデータ) (2024-03-23T16:51:52Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。
高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。
SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
論文 参考訳(メタデータ) (2024-03-11T17:45:47Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳(メタデータ) (2024-02-26T18:59:03Z) - Towards Optimizing the Costs of LLM Usage [4.032848774697859]
理論的にも経験的にも、品質とコストを両立させる最適化問題について検討する。
トークンを品質に配慮した方法で低減するためのいくつかの決定論的手法を提案する。
本手法は,品質を4%から7%向上させながら,コストを40%から90%削減する。
論文 参考訳(メタデータ) (2024-01-29T16:36:31Z) - A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs
for Financial Sentiment Analysis [0.0]
我々は、財務分野のデータセット上で、コンテキスト内学習と微調整LDMの2つのアプローチを採用する。
以上の結果から, 微調整された小型LCMは, 最先端の微調整LDMに匹敵する性能を達成できることが示唆された。
文脈内学習におけるショット数が増加すると、財務領域の感情分析のパフォーマンスが向上することはない。
論文 参考訳(メタデータ) (2023-12-14T08:13:28Z) - Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in
Self-Refined Open-Source Models [53.859446823312126]
SoTAは7Bから65Bまでのさまざまなサイズのオープンソースモデルを平均して、ベースラインのパフォーマンスから8.2%改善している。
厳密に言えば、Vicuna-7Bのような非常に小さなメモリフットプリントを持つモデルでさえ、全体的な11.74%の改善と、高い創造性、オープンエンドタスクの25.39%の改善を示している。
論文 参考訳(メタデータ) (2023-10-11T15:56:00Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Large Language Models for Supply Chain Optimization [4.554094815136834]
大規模言語モデル(LLM)がサプライチェーンの自動化と人間の理解と信頼のギャップを埋めるのにどのように役立つかを検討する。
我々はOptiGuideを設計する。これは平易なテキストで入力クエリとして受け付け、基礎となる結果に関する洞察を出力するフレームワークです。
当社のフレームワークがMicrosoftのクラウドサプライチェーン内の実際のサーバ配置シナリオに与える影響を実演する。
論文 参考訳(メタデータ) (2023-07-08T01:42:22Z) - Deep Stock Predictions [58.720142291102135]
本稿では,Long Short Term Memory (LSTM) ニューラルネットワークを用いてポートフォリオ最適化を行うトレーディング戦略の設計について考察する。
次に、LSTMのトレーニングに使用する損失関数をカスタマイズし、利益を上げる。
カスタマイズされた損失関数を持つLSTMモデルは、ARIMAのような回帰ベースライン上でのトレーニングボットの性能を向上させる。
論文 参考訳(メタデータ) (2020-06-08T23:37:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。