論文の概要: The economic trade-offs of large language models: A case study

• arxiv url: http://arxiv.org/abs/2306.07402v1
• Date: Thu, 8 Jun 2023 20:35:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-18 12:31:20.845626
• Title: The economic trade-offs of large language models: A case study
• Title（参考訳）: 大規模言語モデルの経済的トレードオフ--事例研究
• Authors: Kristen Howell, Gwen Christian, Pavel Fomitchov, Gitit Kehat, Julianne Marzulla, Leanne Rolston, Jadin Tredup, Ilana Zimmerman, Ethan Selfridge, and Joseph Bradley
• Abstract要約: 多くの企業は、直接または修正できる応答を自動生成することで、人間のエージェントを支援するNLPに目を向けている。 本稿では,企業における大規模言語モデルの実用的コストと効果を,それらが生み出す応答の有用性の関数として評価する。
• 参考スコア（独自算出の注目度）: 3.407993998009662
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contacting customer service via chat is a common practice. Because employing customer service agents is expensive, many companies are turning to NLP that assists human agents by auto-generating responses that can be used directly or with modifications. Large Language Models (LLMs) are a natural fit for this use case; however, their efficacy must be balanced with the cost of training and serving them. This paper assesses the practical cost and impact of LLMs for the enterprise as a function of the usefulness of the responses that they generate. We present a cost framework for evaluating an NLP model's utility for this use case and apply it to a single brand as a case study in the context of an existing agent assistance product. We compare three strategies for specializing an LLM - prompt engineering, fine-tuning, and knowledge distillation - using feedback from the brand's customer service agents. We find that the usability of a model's responses can make up for a large difference in inference cost for our case study brand, and we extrapolate our findings to the broader enterprise space.
• Abstract（参考訳）: チャットによるカスタマサービスとの接触は一般的なプラクティスです。 顧客サービスエージェントの採用は費用がかかるため、多くの企業は、直接あるいは修正で使用できる自動生成応答によって、人間エージェントを支援するnlpに目を向けている。 大規模言語モデル(LLM)は、このユースケースに自然に適合するが、それらの有効性は、訓練と提供のコストとバランスをとらなければならない。 本稿では,企業におけるLCMの実用的コストと効果を,それらが生み出す応答の有用性の関数として評価する。 本稿では,NLPモデルの実用性を評価するためのコストフレームワークを提案し,既存のエージェント支援製品のコンテキストにおけるケーススタディとして1つのブランドに適用する。 LLMを専門とする3つの戦略 – 迅速なエンジニアリング,微調整,知識蒸留 – を,ブランドのカスタマーサービスエージェントからのフィードバックを使って比較する。 モデル応答のユーザビリティは,ケーススタディブランドの推論コストの大きな違いを補うことが可能であることが分かり,その結果をより広範なエンタープライズ領域に展開する。

関連論文リスト

• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Persuasion Games using Large Language Models [0.0]
  大型言語モデル (LLM) は、人間のような文章を解釈し、生成することのできる、恐ろしい道具として登場した。 本稿では,LCMがユーザ視点を形作り,その決定を特定のタスクに影響を及ぼす可能性について考察する。 この機能は、投資、クレジットカード、保険など、さまざまな分野のアプリケーションを見つける。
  論文  参考訳（メタデータ） (2024-08-28T15:50:41Z)
• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)
• Scaling Laws for Discriminative Classification in Large Language Models [5.56747083508457]
  言語モデリングタスクを識別的分類タスクとして再定義することで、LLMを使用して顧客サポートの支持者を増強できるシステムを提案する。 オフラインとオンラインの両方の実験の結果を提示し,実験システムのオフラインゲインと統計的に有意なオンラインリフトを観測した。 モデルのサイズ、レイテンシ、正確性に関するトレードオフの空間について議論し、将来的なアプリケーションを提案することで、私たちは締めくくっています。
  論文  参考訳（メタデータ） (2024-05-24T17:58:38Z)
• Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
  決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。 我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。 実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T14:38:59Z)
• Automating Customer Needs Analysis: A Comparative Study of Large Language Models in the Travel Industry [2.4244694855867275]
  大規模言語モデル(LLM)は、大量のテキストデータから貴重な洞察を抽出するための強力なツールとして登場した。 本研究では,TripAdvisor 投稿から旅行客のニーズを抽出するための LLM の比較分析を行った。 特にMistral 7Bは,大規模クローズドモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-04-27T18:28:10Z)
• An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
  命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:56:54Z)
• LMaaS: Exploring Pricing Strategy of Large Model as a Service for Communication [11.337245234301857]
  有料サービスモードは、LM(Large Model as a Service)と呼ばれるこの文脈に適していると我々は主張する。 本稿では,顧客の将来的なレンタル決定を推論することで,大規模モデルの価格を反復的に最適化する反復モデル価格(IMP)アルゴリズムを提案する。 第2ステップでは、ロバストな選択とレンタルのアルゴリズムを設計することで、顧客の選択決定を最適化する。
  論文  参考訳（メタデータ） (2024-01-05T07:19:19Z)
• Mastering the Task of Open Information Extraction with Large Language Models and Consistent Reasoning Environment [52.592199835286394]
  オープン情報抽出(OIE)は、自然文から客観的な構造化された知識を抽出することを目的としている。 大規模言語モデル(LLM)は、テキスト内学習能力に優れています。
  論文  参考訳（メタデータ） (2023-10-16T17:11:42Z)
• MiniSUPERB: Lightweight Benchmark for Self-supervised Speech Models [90.99663022952498]
  SuperBは自己教師付き学習(SSL)音声モデルの様々なタスクにおける一般化性を評価するために提案された。 SuperBは大規模なデータセットと多様なタスクのために高い計算コストを発生させる。 我々は,SUPERBに匹敵する結果のSSL音声モデルを効率よく評価する軽量ベンチマークであるMiniSUPERBを紹介する。
  論文  参考訳（メタデータ） (2023-05-30T13:07:33Z)
• Costs to Consider in Adopting NLP for Your Business [3.608765813727773]
  パフォーマンス向上とモデル間のコストのトレードオフを示し、AIピボットビジネスのさらなる洞察を与えます。 特にリソース不足言語について、低コストモデルに関するさらなる研究を求めています。
  論文  参考訳（メタデータ） (2020-12-16T13:57:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。