論文の概要: Economic Evaluation of LLMs

• arxiv url: http://arxiv.org/abs/2507.03834v1
• Date: Fri, 04 Jul 2025 23:16:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.89435
• Title: Economic Evaluation of LLMs
• Title（参考訳）: LLMの経済評価
• Authors: Michael J. Zellinger, Matt Thomson,
• Abstract要約: 我々は、誤りの経済的コストが0.01ドルを超えると、推論モデルがより正確でコストのかかるトレードオフをもたらすことを示した。 誤りを犯すコストが0.1ドルという場合,大きなLLMがカスケードを上回っていることが判明した。
• 参考スコア（独自算出の注目度）: 0.9208007322096532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Practitioners often navigate LLM performance trade-offs by plotting Pareto frontiers of optimal accuracy-cost trade-offs. However, this approach offers no way to compare between LLMs with distinct strengths and weaknesses: for example, a cheap, error-prone model vs a pricey but accurate one. To address this gap, we propose economic evaluation of LLMs. Our framework quantifies the performance trade-off of an LLM as a single number based on the economic constraints of a concrete use case, all expressed in dollars: the cost of making a mistake, the cost of incremental latency, and the cost of abstaining from a query. We apply our economic evaluation framework to compare the performance of reasoning and non-reasoning models on difficult questions from the MATH benchmark, discovering that reasoning models offer better accuracy-cost tradeoffs as soon as the economic cost of a mistake exceeds \$0.01. In addition, we find that single large LLMs often outperform cascades when the cost of making a mistake is as low as \$0.1. Overall, our findings suggest that when automating meaningful human tasks with AI models, practitioners should typically use the most powerful available model, rather than attempt to minimize AI deployment costs, since deployment costs are likely dwarfed by the economic impact of AI errors.
• Abstract（参考訳）: 実践者は、最適精度とコストのトレードオフのパレートフロンティアをプロットすることで、LLMのパフォーマンストレードオフをナビゲートすることが多い。 しかし、このアプローチは、異なる強みと弱みを持つLCMを比較する方法を提供しない。例えば、安価でエラーを起こしやすいモデルと、高価だが正確なモデルだ。 このギャップに対処するため,LLMの経済評価を提案する。 本フレームワークは, 具体的なユースケースの経済的制約に基づいて, LLMの性能トレードオフを1つの数として定量化し, すべてドルで表現する。 我々は,MATHベンチマークの難しい問題に対する推論モデルと非推論モデルの性能を比較するための経済評価枠組みを適用し,誤りの経済的コストが0.01ドルを超えると,推論モデルがより正確でコストのかかるトレードオフをもたらすことを発見した。 また,誤りを犯すコストが0.1ドルと低い場合,一つの大きなLLMがカスケードを上回っていることが判明した。 全体としては、AIモデルで有意義なヒューマンタスクを自動化する場合、実践者はAIのデプロイメントコストを最小限に抑えるのではなく、最も強力な利用可能なモデルを使用するべきである。

関連論文リスト

• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• Cost-Saving LLM Cascades with Early Abstention [1.3108652488669732]
  LLMカスケードにおける「早期禁忌」の利点について検討した。 6つのベンチマークで,テスト全体の損失を平均2.2%削減できることがわかった。 これらの利得は、より効果的な禁制の使用、総禁制率の4.1%の平均的な増加、コストの13.0%の削減、エラー率の5.0%の削減によって生じる。
  論文  参考訳（メタデータ） (2025-02-13T08:08:39Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Tuning LLM Judge Design Decisions for 1/1000 of the Cost [42.06346155380305]
  大きな言語モデル(LLM)は、しばしば人為的なアノテーションを必要とする。 この問題に対処するため、2つのLLMの出力を比較するLLMベースの審査員が提案されている。 いくつかのアプローチが提案されているが、異なる論文の間には多くの相反する要因が存在する。
  論文  参考訳（メタデータ） (2025-01-24T17:01:14Z)
• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)
• Cost-efficient Knowledge-based Question Answering with Large Language Models [28.816821631082856]
  知識に基づく質問応答(KBQA)は、ドメイン知識を必要とする多くのシナリオで広く使われている。 大規模言語モデル(LLM)はKBQAに機会をもたらすが、そのコストは著しく高く、事前トレーニング中にドメイン固有の知識が欠如している。 我々は,KBQA と LLM のコスト効率を向上する新しい戦略である Coke を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:37:34Z)
• Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
  決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。 我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。 実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T14:38:59Z)
• SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。 高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。 SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-03-11T17:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。