論文の概要: Best of Both Worlds: Fine-Tuned Small Models Complement LLMs for Cost and Performance Benefits

• arxiv url: http://arxiv.org/abs/2610.24260v1
• Date: Fri, 16 Oct 2026 21:34:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 02:49:41.269485
• Title: Best of Both Worlds: Fine-Tuned Small Models Complement LLMs for Cost and Performance Benefits
• Title（参考訳）: 両世界のベスト: コストとパフォーマンスのメリットを補う細調整された小型モデル
• Abstract要約: 調査用テキストデータを16のクラスに分類する。 トレーニングされたRoBERTaモデルと,テキスト分類のための(既製の)GPT-3.5モデルを比較した。 我々は,RoBERTaをベースとしたGPT-3.5モデルのアンサンブルが,スタンドアロンのGPT-3.5に比べて4.4%の推論コストしか得られていないことを発見した。
• 参考スコア（独自算出の注目度）: 0.4673886073271564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: BERT-based models require thousands of labeled samples to train. Larger models like GPT-X require only 1-5 examples per class. However, performance, cost and time tradeoffs of such models remain under-explored. In this work, we classify survey text data into 16 classes. We focus on experimental approaches and results on performance, cost, and time taken for this problem. We compare these parameters of a trained RoBERTa-based model, and an (off-the-shelf) GPT-3.5 model for text classification. Baseline experiments show that the time taken by GPT-3.5 for generating predictions on 10,000 records is 6 hours, whereas a RoBERTa-based model takes only 12 mins on a T4 GPU. To identify the best prompting approach for GPT-3.5, we explore batch prompting. We experiment with (1) batch-size, and (2) few-shot sampling. We find the best batch size is 20 with human few-shot curation. Experiments show the F1 score of a trained RoBERTa-based model (96%) is much higher than a GPT-3.5 model (83%). In case of GPT-3.5, batch prompting is beneficial in lowering inference costs by ~70%, without hindering task performance. We find the best approach is an ensemble of a RoBERTa-based and GPT-3.5 model (F1: 97.5%) incurring only 4.4% of inference cost compared to a standalone GPT-3.5.
• Abstract（参考訳）: BERTベースのモデルでは、何千ものラベル付きサンプルをトレーニングする必要がある。 GPT-Xのような大型モデルは1クラスにつき1-5のサンプルしか必要としない。 しかし、そのようなモデルの性能、コスト、時間的トレードオフは未解決のままである。 本研究では,テキストデータを16のクラスに分類する。 私たちは、実験的なアプローチと、この問題に要するパフォーマンス、コスト、時間に重点を置いています。 トレーニングされたRoBERTaモデルと,テキスト分類のための(既製の)GPT-3.5モデルを比較した。 ベースライン実験では、GPT-3.5が1万レコードの予測を生成するのに要する時間は6時間であるのに対して、RoBERTaベースのモデルではT4 GPUでは12分しかかからない。 GPT-3.5の最良のプロンプト手法を特定するため,バッチプロンプトについて検討する。 1)バッチサイズ,(2)少数ショットサンプリングを実験した。 一番のバッチサイズは、人間の数ショットキュレーションで20です。 実験によると、トレーニングされたRoBERTaモデル(96%)のF1スコアは、GPT-3.5モデル(83%)よりもはるかに高い。 GPT-3.5の場合、バッチプロンプトは、タスクのパフォーマンスを妨げることなく、推論コストを約70%削減する上で有益である。 最も優れたアプローチは、RoBERTaベースのGPT-3.5モデル(F1:97.5%)のアンサンブルで、スタンドアロンのGPT-3.5に比べて推論コストは4.4%しかありません。

関連論文リスト

• Models Can Model, But Can't Bind: Structured Grounding in Text-to-Optimization [54.749573452394664]
  定式化自体が単純である場合でも、インスタンスデータが大きくなるにつれて精度が低下する。 我々は, 数値データを構造化ファイルに外部化する単純な推論時アプローチであるBINDを用いて, モデルがプロンプトプロンプトからではなく, データをバインドする。 我々は,モデルのみをバインディングのみに微調整することで仮説を検証し,3つの構造的に異なる最適化カテゴリにおいて,エンドツーエンドのSFTおよびRLよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-20T21:25:41Z)
• Evaluating SAP RPT-1 for Enterprise Business Process Prediction: In-Context Learning vs. Traditional Machine Learning on Structured SAP Data [0.0]
  本稿では,SAPのRetrieval Pretrained Transformer (RPT-1) の実践的観点からの独立性評価について述べる。 RPT-1は64.6MBのコンパクトなモデルで、3100万のテーブルにまたがる1.34TBの構造化データに事前訓練されている。 3つのSAPビジネスシナリオにおいて、調整した勾配決定木(XGBoost、LightGBM、CatBoost)に対してベンチマークを行った。
  論文  参考訳（メタデータ） (2026-02-22T15:29:52Z)
• The Best Instruction-Tuning Data are Those That Fit [17.401088816596054]
  事前訓練された大言語モデル(LLM)から強機能を引き出すためには,SFT(Supervised Fine-tuning)データが必要である。 GRAPE*は,対象モデルの特異な特徴を考慮に入れた,新しいSFTフレームワークである。 各命令に対して、様々なLSMからの応答を収集し、ターゲットモデルによって測定された最も高い確率の命令を選択する。
  論文  参考訳（メタデータ） (2025-02-06T16:31:21Z)
• Fine-Tuning and Prompt Engineering for Large Language Models-based Code Review Automation [4.941630596191807]
  コードレビュー自動化にLLM(Large Language Models)を利用する場合、ファインチューニングとプロンプトが一般的なアプローチである。 LLMベースのコードレビュー自動化では、モデルファインチューニングと推論技術(ゼロショット学習、少数ショット学習、ペルソナ)を使用します。 その結果、ゼロショット学習によるGPT-3.5は、Guoらのアプローチよりも73.17%-74.23%高いEMが得られることがわかった。
  論文  参考訳（メタデータ） (2024-02-01T03:10:26Z)
• ExtractGPT: Exploring the Potential of Large Language Models for Product Attribute Value Extraction [51.87391234815163]
  電子商取引プラットフォームは、属性と値のペアという形で構造化された製品データを必要とする。 BERTベースの抽出法では,タスク固有の大量のトレーニングデータを必要とする。 本稿では,大規模言語モデル (LLM) を,より訓練的かつ堅牢な代替手段として活用することを検討する。
  論文  参考訳（メタデータ） (2023-10-19T07:39:00Z)
• Fine-tuning ChatGPT for Automatic Scoring [1.4833692070415454]
  本研究は,構築された応答を自動的に評価するための微調整ChatGPT (GPT3.5) の可能性を明らかにする。 細調整 GPT-3.5 と,Google が生成する言語モデル BERT を比較した。
  論文  参考訳（メタデータ） (2023-10-16T05:09:16Z)
• InheritSumm: A General, Versatile and Compact Summarizer by Distilling from GPT [75.29359361404073]
  InheritSummは、蒸留によりGPT-3.5から派生した汎用的でコンパクトな要約モデルである。 GPT-3.5と同様、ゼロショットやスプリットショットの設定でパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-05-22T14:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。