論文の概要: Which Model Shall I Choose? Cost/Quality Trade-offs for Text
Classification Tasks
- arxiv url: http://arxiv.org/abs/2301.07006v1
- Date: Tue, 17 Jan 2023 16:51:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 13:33:36.306107
- Title: Which Model Shall I Choose? Cost/Quality Trade-offs for Text
Classification Tasks
- Title(参考訳): どのモデルを選びましょうか。
テキスト分類タスクのコスト/品質トレードオフ
- Authors: Shi Zong, Josh Seltzer, Jiahua (Fiona) Pan, Kathy Cheng, Jimmy Lin
- Abstract要約: 本稿では,テキスト分類タスクに着目し,この課題の定量的分析を行う。
分類精度を主指標として,様々なモデルの分類器の性能を評価する。
次に、推論に必要なサンプルが多数存在するような状況におけるモデル選択について議論する。
- 参考スコア(独自算出の注目度): 40.102139944928936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Industry practitioners always face the problem of choosing the appropriate
model for deployment under different considerations, such as to maximize a
metric that is crucial for production, or to reduce the total cost given
financial concerns. In this work, we focus on the text classification task and
present a quantitative analysis for this challenge. Using classification
accuracy as the main metric, we evaluate the classifiers' performances for a
variety of models, including large language models, along with their associated
costs, including the annotation cost, training (fine-tuning) cost, and
inference cost. We then discuss the model choices for situations like having a
large number of samples needed for inference. We hope our work will help people
better understand the cost/quality trade-offs for the text classification task.
- Abstract(参考訳): 産業実践者は、生産に欠かせないメートル法を最大化したり、与えられた財政的懸念の総コストを削減したりするなど、異なる考慮のもと、デプロイメントの適切なモデルを選択するという問題に常に直面する。
本研究では,テキスト分類タスクに着目し,この課題の定量的分析を行う。
分類精度を主指標として,大規模言語モデルを含む様々なモデルの分類器の性能と,アノテーションコスト,訓練(微調整)コスト,推論コストなどの関連するコストを評価する。
次に,推論に必要なサンプルを多数持つような状況に対するモデル選択について論じる。
私たちの仕事が、テキスト分類タスクのコストと品質のトレードオフを理解するのに役立つことを願っています。
関連論文リスト
- Cost-Sensitive Stacking: an Empirical Evaluation [3.867363075280544]
コスト感受性学習は、誤分類コストの違いを考慮に入れた分類アルゴリズムに適応する。
コストに敏感なスタックとは何か、という文献には意見の一致がない。
実験は12のデータセットを用いて行われ、最高の性能を得るためには、どちらのレベルの積み重ねもコストに敏感な分類決定を必要とすることを示した。
論文 参考訳(メタデータ) (2023-01-04T18:28:07Z) - A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained
Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。
我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文 参考訳(メタデータ) (2022-10-13T15:47:09Z) - Optimizing Data Collection for Machine Learning [87.37252958806856]
現代のディープラーニングシステムは、素晴らしいパフォーマンスを達成するために巨大なデータセットを必要とします。
過度に収集したデータは不要な現在のコストを発生させる一方、過度に収集したデータは将来のコストと遅延を引き起こす可能性がある。
本稿では,データ収集を形式的最適データ収集問題としてモデル化するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-10-03T21:19:05Z) - On the Economics of Multilingual Few-shot Learning: Modeling the
Cost-Performance Trade-offs of Machine Translated and Manual Data [12.638781962950805]
本稿では,機械翻訳データと手作業で作成したラベル付きデータのパフォーマンスとコストのトレードオフを評価するためのフレームワークを提案する。
本稿では,TyDIQA-GoldPデータセットのケーススタディによるフレームワークの有効性について述べる。
論文 参考訳(メタデータ) (2022-05-12T20:27:01Z) - Analyzing the Limits of Self-Supervision in Handling Bias in Language [58.24207429330334]
我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。
分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
論文 参考訳(メタデータ) (2021-12-16T05:36:08Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - Costs to Consider in Adopting NLP for Your Business [3.608765813727773]
パフォーマンス向上とモデル間のコストのトレードオフを示し、AIピボットビジネスのさらなる洞察を与えます。
特にリソース不足言語について、低コストモデルに関するさらなる研究を求めています。
論文 参考訳(メタデータ) (2020-12-16T13:57:31Z) - AGenT Zero: Zero-shot Automatic Multiple-Choice Question Generation for
Skill Assessments [11.355397923795488]
マルチチョイス質問(MCQ)は、仮想教育と求職の時代に最も有望なスキル評価の道を提供する。
自然言語処理の最近の進歩は、多くの複雑な質問生成手法を生み出している。
AGenT Zeroは、他のトレーニング済みメソッドよりも、流布やセマンティックな類似性が優れている。
論文 参考訳(メタデータ) (2020-11-25T04:06:57Z) - The foundations of cost-sensitive causal classification [3.7493611543472953]
本研究は,統一評価フレームワークの試作により,コスト感受性と因果分類を統合した。
本研究は,従来の分類が,パフォーマンス指標の範囲における因果分類の特定の事例であることを示す。
提案手法は,コスト依存型因果学習手法の開発への道を開くものである。
論文 参考訳(メタデータ) (2020-07-24T15:33:48Z) - Cost-Sensitive Portfolio Selection via Deep Reinforcement Learning [100.73223416589596]
深層強化学習を用いたコスト依存型ポートフォリオ選択手法を提案する。
具体的には、価格系列パターンと資産相関の両方を抽出するために、新しい2ストリームポートフォリオポリシーネットワークを考案した。
蓄積したリターンを最大化し、強化学習によるコストの両立を抑えるため、新たなコスト感受性報酬関数が開発された。
論文 参考訳(メタデータ) (2020-03-06T06:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。