論文の概要: Which Model Shall I Choose? Cost/Quality Trade-offs for Text Classification Tasks

• arxiv url: http://arxiv.org/abs/2301.07006v1
• Date: Tue, 17 Jan 2023 16:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-01-18 13:33:36.306107
• Title: Which Model Shall I Choose? Cost/Quality Trade-offs for Text Classification Tasks
• Title（参考訳）: どのモデルを選びましょうか。 テキスト分類タスクのコスト/品質トレードオフ
• Authors: Shi Zong, Josh Seltzer, Jiahua (Fiona) Pan, Kathy Cheng, Jimmy Lin
• Abstract要約: 本稿では,テキスト分類タスクに着目し,この課題の定量的分析を行う。 分類精度を主指標として,様々なモデルの分類器の性能を評価する。 次に、推論に必要なサンプルが多数存在するような状況におけるモデル選択について議論する。
• 参考スコア（独自算出の注目度）: 40.102139944928936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Industry practitioners always face the problem of choosing the appropriate model for deployment under different considerations, such as to maximize a metric that is crucial for production, or to reduce the total cost given financial concerns. In this work, we focus on the text classification task and present a quantitative analysis for this challenge. Using classification accuracy as the main metric, we evaluate the classifiers' performances for a variety of models, including large language models, along with their associated costs, including the annotation cost, training (fine-tuning) cost, and inference cost. We then discuss the model choices for situations like having a large number of samples needed for inference. We hope our work will help people better understand the cost/quality trade-offs for the text classification task.
• Abstract（参考訳）: 産業実践者は、生産に欠かせないメートル法を最大化したり、与えられた財政的懸念の総コストを削減したりするなど、異なる考慮のもと、デプロイメントの適切なモデルを選択するという問題に常に直面する。 本研究では,テキスト分類タスクに着目し,この課題の定量的分析を行う。 分類精度を主指標として,大規模言語モデルを含む様々なモデルの分類器の性能と,アノテーションコスト,訓練(微調整)コスト,推論コストなどの関連するコストを評価する。 次に,推論に必要なサンプルを多数持つような状況に対するモデル選択について論じる。 私たちの仕事が、テキスト分類タスクのコストと品質のトレードオフを理解するのに役立つことを願っています。

関連論文リスト

• STEER-ME: Assessing the Microeconomic Reasoning of Large Language Models [8.60556939977361]
  マイクロエコノミック推論のための大規模言語モデル(LLM)を評価するためのベンチマークを開発する。 供給と需要のロジックに重点を置いており、それぞれが最大10ドルドメイン、5ドルパースペクティブ、3ドルタイプで構成されています。 我々は,小規模なオープンソースモデルから最先端技術まで,27ドルのLLMのケーススタディを通じて,我々のベンチマークの有用性を実証する。
  論文  参考訳（メタデータ） (2025-02-18T18:42:09Z)
• Compute-Constrained Data Selection [77.06528009072967]
  コスト対応ユーティリティ関数を用いてデータ選択の問題を定式化し、その問題をトレーニングのための初期選択コストのトレーディングとしてモデル化する。 複数のタスク、微調整トークンのスケーリングによる計算予算、モデルサイズ、データ選択計算など、包括的な実験を網羅的に実施しています。
  論文  参考訳（メタデータ） (2024-10-21T17:11:21Z)
• Fine-tuning Smaller Language Models for Question Answering over Financial Documents [0.1747623282473278]
  我々は、財務文書に対するマルチホップ数値推論を必要とする質問に答えることの課題に焦点をあてる。 プログラムを生成するために微調整されたいくつかの小型モデルの性能を評価する。 我々の経験的分析は、微調整が学生モデルに要求される財務概念を表現・適用する能力を洗練させることを示している。
  論文  参考訳（メタデータ） (2024-08-22T12:23:29Z)
• The advantages of context specific language models: the case of the Erasmian Language Model [0.7499722271664147]
  我々はErasmian Language Model (ELM) を,エラスムス大学ロッテルダム校および大学によって事前訓練・微調整された,9億のパラメータモデルとして提示する。 本研究は,エッセイ執筆の授業コンテキストにおいてモデルがどのように適切に機能するか,その文脈の一部である課題において優れたパフォーマンスを達成するかを示す。
  論文  参考訳（メタデータ） (2024-08-13T14:34:59Z)
• The Art of Saying No: Contextual Noncompliance in Language Models [123.383993700586]
  本稿では,ユーザの要求に従わないモデルについて,コンテキスト非準拠の包括的分類を導入する。 我々の分類は、不完全、不完全、不完全、不決定、人為的要求を含む幅広いカテゴリーにまたがる。 言語モデルの非準拠性をテストするために,1000個の非準拠プロンプトの新たな評価スイートを開発するために,この分類法を用いる。
  論文  参考訳（メタデータ） (2024-07-02T07:12:51Z)
• One-Shot Open Affordance Learning with Foundation Models [54.15857111929812]
  私たちは、モデルがベースオブジェクトカテゴリ毎に1つの例でトレーニングされる、ワンショットのオープンアフォーダンスラーニング(OOAL)を紹介します。 本稿では,視覚的特徴と手頃なテキスト埋め込みとの整合性を高める,シンプルで効果的な設計の視覚言語フレームワークを提案する。 2つのアベイランスセグメンテーションのベンチマーク実験により、提案手法はトレーニングデータの1%未満で最先端のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-29T16:23:06Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Cost-Sensitive Stacking: an Empirical Evaluation [3.867363075280544]
  コスト感受性学習は、誤分類コストの違いを考慮に入れた分類アルゴリズムに適応する。 コストに敏感なスタックとは何か、という文献には意見の一致がない。 実験は12のデータセットを用いて行われ、最高の性能を得るためには、どちらのレベルの積み重ねもコストに敏感な分類決定を必要とすることを示した。
  論文  参考訳（メタデータ） (2023-01-04T18:28:07Z)
• On the Economics of Multilingual Few-shot Learning: Modeling the Cost-Performance Trade-offs of Machine Translated and Manual Data [12.638781962950805]
  本稿では,機械翻訳データと手作業で作成したラベル付きデータのパフォーマンスとコストのトレードオフを評価するためのフレームワークを提案する。 本稿では,TyDIQA-GoldPデータセットのケーススタディによるフレームワークの有効性について述べる。
  論文  参考訳（メタデータ） (2022-05-12T20:27:01Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• The foundations of cost-sensitive causal classification [3.7493611543472953]
  本研究は,統一評価フレームワークの試作により,コスト感受性と因果分類を統合した。 本研究は,従来の分類が,パフォーマンス指標の範囲における因果分類の特定の事例であることを示す。 提案手法は,コスト依存型因果学習手法の開発への道を開くものである。
  論文  参考訳（メタデータ） (2020-07-24T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。