論文の概要: Which Model Shall I Choose? Cost/Quality Trade-offs for Text
Classification Tasks
- arxiv url: http://arxiv.org/abs/2301.07006v1
- Date: Tue, 17 Jan 2023 16:51:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 13:33:36.306107
- Title: Which Model Shall I Choose? Cost/Quality Trade-offs for Text
Classification Tasks
- Title(参考訳): どのモデルを選びましょうか。
テキスト分類タスクのコスト/品質トレードオフ
- Authors: Shi Zong, Josh Seltzer, Jiahua (Fiona) Pan, Kathy Cheng, Jimmy Lin
- Abstract要約: 本稿では,テキスト分類タスクに着目し,この課題の定量的分析を行う。
分類精度を主指標として,様々なモデルの分類器の性能を評価する。
次に、推論に必要なサンプルが多数存在するような状況におけるモデル選択について議論する。
- 参考スコア(独自算出の注目度): 40.102139944928936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Industry practitioners always face the problem of choosing the appropriate
model for deployment under different considerations, such as to maximize a
metric that is crucial for production, or to reduce the total cost given
financial concerns. In this work, we focus on the text classification task and
present a quantitative analysis for this challenge. Using classification
accuracy as the main metric, we evaluate the classifiers' performances for a
variety of models, including large language models, along with their associated
costs, including the annotation cost, training (fine-tuning) cost, and
inference cost. We then discuss the model choices for situations like having a
large number of samples needed for inference. We hope our work will help people
better understand the cost/quality trade-offs for the text classification task.
- Abstract(参考訳): 産業実践者は、生産に欠かせないメートル法を最大化したり、与えられた財政的懸念の総コストを削減したりするなど、異なる考慮のもと、デプロイメントの適切なモデルを選択するという問題に常に直面する。
本研究では,テキスト分類タスクに着目し,この課題の定量的分析を行う。
分類精度を主指標として,大規模言語モデルを含む様々なモデルの分類器の性能と,アノテーションコスト,訓練(微調整)コスト,推論コストなどの関連するコストを評価する。
次に,推論に必要なサンプルを多数持つような状況に対するモデル選択について論じる。
私たちの仕事が、テキスト分類タスクのコストと品質のトレードオフを理解するのに役立つことを願っています。
関連論文リスト
- One-Shot Open Affordance Learning with Foundation Models [54.15857111929812]
私たちは、モデルがベースオブジェクトカテゴリ毎に1つの例でトレーニングされる、ワンショットのオープンアフォーダンスラーニング(OOAL)を紹介します。
本稿では,視覚的特徴と手頃なテキスト埋め込みとの整合性を高める,シンプルで効果的な設計の視覚言語フレームワークを提案する。
2つのアベイランスセグメンテーションのベンチマーク実験により、提案手法はトレーニングデータの1%未満で最先端のモデルより優れていることが示された。
論文 参考訳(メタデータ) (2023-11-29T16:23:06Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳(メタデータ) (2023-10-18T10:32:39Z) - MiniSUPERB: Lightweight Benchmark for Self-supervised Speech Models [90.99663022952498]
SuperBは自己教師付き学習(SSL)音声モデルの様々なタスクにおける一般化性を評価するために提案された。
SuperBは大規模なデータセットと多様なタスクのために高い計算コストを発生させる。
我々は,SUPERBに匹敵する結果のSSL音声モデルを効率よく評価する軽量ベンチマークであるMiniSUPERBを紹介する。
論文 参考訳(メタデータ) (2023-05-30T13:07:33Z) - Cost-Sensitive Stacking: an Empirical Evaluation [3.867363075280544]
コスト感受性学習は、誤分類コストの違いを考慮に入れた分類アルゴリズムに適応する。
コストに敏感なスタックとは何か、という文献には意見の一致がない。
実験は12のデータセットを用いて行われ、最高の性能を得るためには、どちらのレベルの積み重ねもコストに敏感な分類決定を必要とすることを示した。
論文 参考訳(メタデータ) (2023-01-04T18:28:07Z) - Optimizing Data Collection for Machine Learning [87.37252958806856]
現代のディープラーニングシステムは、素晴らしいパフォーマンスを達成するために巨大なデータセットを必要とします。
過度に収集したデータは不要な現在のコストを発生させる一方、過度に収集したデータは将来のコストと遅延を引き起こす可能性がある。
本稿では,データ収集を形式的最適データ収集問題としてモデル化するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-10-03T21:19:05Z) - On the Economics of Multilingual Few-shot Learning: Modeling the
Cost-Performance Trade-offs of Machine Translated and Manual Data [12.638781962950805]
本稿では,機械翻訳データと手作業で作成したラベル付きデータのパフォーマンスとコストのトレードオフを評価するためのフレームワークを提案する。
本稿では,TyDIQA-GoldPデータセットのケーススタディによるフレームワークの有効性について述べる。
論文 参考訳(メタデータ) (2022-05-12T20:27:01Z) - Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。
分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
論文 参考訳(メタデータ) (2021-12-16T05:36:08Z) - Costs to Consider in Adopting NLP for Your Business [3.608765813727773]
パフォーマンス向上とモデル間のコストのトレードオフを示し、AIピボットビジネスのさらなる洞察を与えます。
特にリソース不足言語について、低コストモデルに関するさらなる研究を求めています。
論文 参考訳(メタデータ) (2020-12-16T13:57:31Z) - The foundations of cost-sensitive causal classification [3.7493611543472953]
本研究は,統一評価フレームワークの試作により,コスト感受性と因果分類を統合した。
本研究は,従来の分類が,パフォーマンス指標の範囲における因果分類の特定の事例であることを示す。
提案手法は,コスト依存型因果学習手法の開発への道を開くものである。
論文 参考訳(メタデータ) (2020-07-24T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。