論文の概要: Costs to Consider in Adopting NLP for Your Business
- arxiv url: http://arxiv.org/abs/2012.08958v2
- Date: Thu, 15 Apr 2021 01:38:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 03:01:08.416384
- Title: Costs to Consider in Adopting NLP for Your Business
- Title(参考訳): ビジネスにNLPを採用する上で考慮すべきコスト
- Authors: Made Nindyatama Nityasya, Haryo Akbarianto Wibowo, Radityo Eko
Prasojo, Alham Fikri Aji
- Abstract要約: パフォーマンス向上とモデル間のコストのトレードオフを示し、AIピボットビジネスのさらなる洞察を与えます。
特にリソース不足言語について、低コストモデルに関するさらなる研究を求めています。
- 参考スコア(独自算出の注目度): 3.608765813727773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Natural Language Processing (NLP) have largely pushed deep
transformer-based models as the go-to state-of-the-art technique without much
regard to the production and utilization cost. Companies planning to adopt
these methods into their business face difficulties because of the lack of
machine, data, and human resources to build them. We compare both the
performance and the cost of classical learning algorithms to the latest ones in
common sequence and text labeling tasks. In our industrial datasets, we find
that classical models often perform on par with deep neural ones despite the
lower cost. We show the trade-off between performance gain and the cost across
the models to give more insights for AI-pivoting business. Further, we call for
more research into low-cost models, especially for under-resourced languages.
- Abstract(参考訳): 自然言語処理(nlp)の最近の進歩は、生産コストや利用コストにさかのぼることなく、深いトランスフォーマーベースのモデルを最先端技術として推進してきた。
これらの手法をビジネスに導入しようとしている企業は、構築する機械、データ、人的資源が不足しているため、困難に直面している。
我々は,古典学習アルゴリズムの性能とコストを,共通シーケンスおよびテキストラベリングタスクにおける最新のものと比較した。
産業データセットでは、コストが低いにもかかわらず、古典的なモデルはディープニューラルネットワークと同等に動作することがよくあります。
パフォーマンス向上とモデル間のコストのトレードオフを示し、AIピボットビジネスのさらなる洞察を提供する。
さらに、低コストのモデル、特に低リソース言語の研究も求めています。
関連論文リスト
- PanGu-$\pi$: Enhancing Language Model Architectures via Nonlinearity
Compensation [97.78045712375047]
大規模言語モデル(LLM)のための新しい効率的なモデルアーキテクチャを提案する。
そこで,PanGu-$pi$-7Bは,約10%の推論速度を持つベンチマークに匹敵する性能が得られることを示す。
さらに,PanGu-$pi$-7Bを金融法と法律の高価値領域に導入し,実践的応用のためにYunShanというLLMを開発した。
論文 参考訳(メタデータ) (2023-12-27T11:49:24Z) - Power Hungry Processing: Watts Driving the Cost of AI Deployment? [81.05543515700154]
多目的生成AIシステムは、機械学習(ML)モデルを技術に組み込む統一的なアプローチを約束する。
この「一般性」という野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。
これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。
本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
論文 参考訳(メタデータ) (2023-11-28T15:09:36Z) - Making Large Language Models Better Data Creators [22.0882632635255]
大規模言語モデル(LLM)はNLPの最先端を著しく進歩させた。
ダウンストリームアプリケーションへのデプロイは、コスト、応答性、コントロール、プライバシとセキュリティに関する懸念のため、依然として難しい。
単一フォーマットの例のみを必要とする統一データ生成パイプラインを提案する。
論文 参考訳(メタデータ) (2023-10-31T01:08:34Z) - ZooPFL: Exploring Black-box Foundation Models for Personalized Federated
Learning [95.64041188351393]
本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。
個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。
計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
論文 参考訳(メタデータ) (2023-10-08T12:26:13Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳(メタデータ) (2023-05-03T21:51:42Z) - Data Augmentation for Neural NLP [0.0]
データ拡張は、データの不足に対処するための低コストなアプローチである。
本稿では,自然言語処理における最先端データ拡張手法の概要について述べる。
論文 参考訳(メタデータ) (2023-02-22T14:47:15Z) - Privacy Adhering Machine Un-learning in NLP [66.17039929803933]
現実の業界では、機械学習を使ってユーザデータに基づくモデルを構築します。
このような委任事項には、データだけでなく、モデルの再トレーニングにも労力が要る。
データの継続的な削除と モデル再訓練のステップはスケールしません
この課題に対処するために、textitMachine Unlearningを提案する。
論文 参考訳(メタデータ) (2022-12-19T16:06:45Z) - Using Deep Learning to Find the Next Unicorn: A Practical Synthesis [61.79479418606679]
Venture Capital(VC)は、ユニコーンスタートアップを早期に特定し、投資し、高いリターンを得ることを期待している。
過去20年間、業界は従来の統計的アプローチから機械学習ベースのものへと移行してきた。
本研究は,DLのライフサイクル全体をカバーする,DLベースのアプローチに関する文献レビューと合成を行う。
論文 参考訳(メタデータ) (2022-10-18T13:11:16Z) - On the Economics of Multilingual Few-shot Learning: Modeling the
Cost-Performance Trade-offs of Machine Translated and Manual Data [12.638781962950805]
本稿では,機械翻訳データと手作業で作成したラベル付きデータのパフォーマンスとコストのトレードオフを評価するためのフレームワークを提案する。
本稿では,TyDIQA-GoldPデータセットのケーススタディによるフレームワークの有効性について述べる。
論文 参考訳(メタデータ) (2022-05-12T20:27:01Z) - The NLP Cookbook: Modern Recipes for Transformer based Deep Learning
Architectures [0.0]
自然言語処理モデルは言語的および意味的なタスクにおいて驚くべき成功を収めた。
最近のNLPアーキテクチャは、中程度のモデルサイズを達成するために、トランスファーラーニング、プルーニング、量子化、知識蒸留の概念を活用している。
知識レトリバーは、より大きなデータベースのコーパスから、より効率と正確さで明示的なデータドキュメントを抽出するために構築されている。
論文 参考訳(メタデータ) (2021-03-23T22:38:20Z) - The Cost of Training NLP Models: A Concise Overview [8.598232614988806]
大規模言語モデルを訓練するコストと、これらのコストの要因についてレビューする。
対象者には、モデルトレーニングの実験を予算化するエンジニアや科学者、現代の自然言語処理(NLP)の経済性を理解しようとする非専門家が含まれる。
論文 参考訳(メタデータ) (2020-04-19T16:28:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。