論文の概要: Cut Costs, Not Accuracy: LLM-Powered Data Processing with Guarantees
- arxiv url: http://arxiv.org/abs/2509.02896v1
- Date: Tue, 02 Sep 2025 23:41:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 21:40:46.364244
- Title: Cut Costs, Not Accuracy: LLM-Powered Data Processing with Guarantees
- Title（参考訳）: コスト削減, 正確性ではない - 保証付きLLMによるデータ処理
- Authors: Sepanta Zeighami, Shreya Shankar, Aditya Parameswaran,
- Abstract要約: 大規模言語モデル(LLM)は、大規模テキストデータセットを処理するために、データシステムのビルディングブロックとしてますます使われています。
高いコストを避けるため、より安価だが低品質のLCMをレコード処理に使用することができる。
BARGAINは,データ処理に安価なLCMを用いてコストを大幅に削減する手法である。
- 参考スコア（独自算出の注目度）: 10.940593916080276
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are being increasingly used as a building block in data systems to process large text datasets. To do so, LLM model providers offer multiple LLMs with different sizes, spanning various cost-quality trade-offs when processing text at scale. Top-of-the-line LLMs (e.g., GPT-4o, Claude Sonnet) operate with high accuracy but are prohibitively expensive when processing many records. To avoid high costs, more affordable but lower quality LLMs (e.g., GPT-4o-mini, Claude Haiku) can be used to process records, but we need to ensure that the overall accuracy does not deviate substantially from that of the top-of-the-line LLMs. The model cascade framework provides a blueprint to manage this trade-off, by using the confidence of LLMs in their output (e.g., log-probabilities) to decide on which records to use the affordable LLM. However, existing solutions following this framework provide only marginal cost savings and weak theoretical guarantees because of poor estimation of the quality of the affordable LLM's outputs. We present BARGAIN, a method that judiciously uses affordable LLMs in data processing to significantly reduce cost while providing strong theoretical guarantees on the solution quality. BARGAIN employs a novel adaptive sampling strategy and statistical estimation procedure that uses data and task characteristics and builds on recent statistical tools to make accurate estimations with tight theoretical guarantees. Variants of BARGAIN can support guarantees on accuracy, precision, or recall of the output. Experimental results across 8 real-world datasets show that BARGAIN reduces cost, on average, by up to 86% more than state-of-the-art, while providing stronger theoretical guarantees on accuracy of output, with similar gains when guaranteeing a desired level of precision or recall.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、大規模テキストデータセットを処理するために、データシステムのビルディングブロックとしてますます使われています。
そのために、LLMモデルプロバイダは異なるサイズで複数のLLMを提供し、大規模にテキストを処理する際に、様々なコスト品質のトレードオフにまたがる。
最上位のLCM(例えば、GPT-4o、Claude Sonnet)は高い精度で動作するが、多くのレコードを処理する際には極めて高価である。
高いコストを回避するため、より安価で高品質なLCM(例えば、GPT-4o-mini、Claude Haiku)をレコード処理に使用することができるが、全体的な精度が最上位のLCMと大きく異なることを保証する必要がある。
モデルカスケードフレームワークは、その出力(例えば、ログ確率)におけるLSMの信頼性を使用して、このトレードオフを管理するための青写真を提供する。
しかし、この枠組みに従う既存のソリューションは、安価なLCMの出力の品質の低い評価のため、限界的なコスト削減と弱い理論的保証しか提供しない。
BARGAIN は,データ処理に安価な LLM を用いてコストを大幅に削減し,ソリューションの品質を理論的に保証する手法である。
BARGAINは、データとタスク特性を使用し、最新の統計ツールに基づいて、厳密な理論的保証で正確な推定を行う、新しい適応サンプリング戦略と統計的推定手順を採用している。
BARGAINの変数は、出力の正確性、精度、リコールの保証をサポートすることができる。
8つの実世界のデータセットでの実験結果から、BARGAINは平均して、最先端の精度よりも最大86%高いコストを削減し、出力の正確性に関するより強力な理論的保証を提供する。
関連論文リスト
- Cost-aware LLM-based Online Dataset Annotation [14.69261466438399]
CaMVoは、効率的かつ正確なデータセットアノテーションのためのオンラインフレームワークである。
事前トレーニングや地道ラベルを必要とせずに、コンテキスト埋め込み、信頼性とコストのバランスを取る。
過半数の投票に匹敵する、あるいは優れた精度を達成し、ラベルのコストを大幅に削減する。
論文 参考訳（メタデータ） (2025-05-21T04:49:44Z) - LLMs as Data Annotators: How Close Are We to Human Performance [47.61698665650761]
データのマニュアルアノテーションは、労働集約的で、時間がかかり、コストがかかる。
In-context Learning (ICL) では、タスクに関連するいくつかの例がプロンプトで与えられると、非効率性や準最適モデルの性能につながる可能性がある。
本稿では,NERタスクの様々なデータセットに対して,異なる埋め込みモデルを考慮した複数のLLMの比較実験を行う。
論文 参考訳（メタデータ） (2025-04-21T11:11:07Z) - Cost-Saving LLM Cascades with Early Abstention [1.3108652488669732]
LLMカスケードにおける「早期禁忌」の利点について検討した。
6つのベンチマークで,テスト全体の損失を平均2.2%削減できることがわかった。
これらの利得は、より効果的な禁制の使用、総禁制率の4.1%の平均的な増加、コストの13.0%の削減、エラー率の5.0%の削減によって生じる。
論文 参考訳（メタデータ） (2025-02-13T08:08:39Z) - OptLLM: Optimal Assignment of Queries to Large Language Models [12.07164196530872]
大規模言語モデル(LLM)における費用効率の高いクエリ割り当て問題に対処するフレームワークを提案する。
当社のフレームワークであるOpsLLMは、ユーザに対して、予算の制約やパフォーマンスの優先事項に合わせて、選択可能なさまざまな最適なソリューションを提供します。
OptLLMの有効性を評価するため,テキスト分類,質問応答,感情分析,推論,ログ解析など,さまざまなタスクについて広範な実験を行った。
論文 参考訳（メタデータ） (2024-05-24T01:05:37Z) - LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。
本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。
この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文 参考訳（メタデータ） (2024-05-09T11:49:05Z) - LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。
LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。
GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
論文 参考訳（メタデータ） (2024-03-22T08:57:07Z) - SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。
高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。
SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
論文 参考訳（メタデータ） (2024-03-11T17:45:47Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳（メタデータ） (2024-02-26T18:59:03Z) - Towards Optimizing the Costs of LLM Usage [4.032848774697859]
理論的にも経験的にも、品質とコストを両立させる最適化問題について検討する。
トークンを品質に配慮した方法で低減するためのいくつかの決定論的手法を提案する。
本手法は,品質を4%から7%向上させながら,コストを40%から90%削減する。
論文 参考訳（メタデータ） (2024-01-29T16:36:31Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。