論文の概要: FrugalML: How to Use ML Prediction APIs More Accurately and Cheaply

• arxiv url: http://arxiv.org/abs/2006.07512v1
• Date: Fri, 12 Jun 2020 23:43:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 04:01:10.102644
• Title: FrugalML: How to Use ML Prediction APIs More Accurately and Cheaply
• Title（参考訳）: frugalml: より正確かつ安価にml予測apiを使用する方法
• Authors: Lingjiao Chen, Matei Zaharia, James Zou
• Abstract要約: 我々はFrugalMLを提案する。FrugalMLは、異なるデータ上で各APIの長所と短所を共同で学習する、原則化されたフレームワークである。 理論解析により,FrugalMLを効率よくするために,定式化における自然の空間性を利用することが可能であることが示唆された。 さまざまなタスクにおいて、FrugalMLは、最高の単一APIの精度を一致させながら、最大90%のコスト削減を実現し、最高のAPIのコストを一致させながら、最大5%の精度を達成できる。
• 参考スコア（独自算出の注目度）: 36.94826820536239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prediction APIs offered for a fee are a fast-growing industry and an important part of machine learning as a service. While many such services are available, the heterogeneity in their price and performance makes it challenging for users to decide which API or combination of APIs to use for their own data and budget. We take a first step towards addressing this challenge by proposing FrugalML, a principled framework that jointly learns the strength and weakness of each API on different data, and performs an efficient optimization to automatically identify the best sequential strategy to adaptively use the available APIs within a budget constraint. Our theoretical analysis shows that natural sparsity in the formulation can be leveraged to make FrugalML efficient. We conduct systematic experiments using ML APIs from Google, Microsoft, Amazon, IBM, Baidu and other providers for tasks including facial emotion recognition, sentiment analysis and speech recognition. Across various tasks, FrugalML can achieve up to 90% cost reduction while matching the accuracy of the best single API, or up to 5% better accuracy while matching the best API's cost.
• Abstract（参考訳）: 料金として提供される予測apiは、急速に成長している業界であり、サービスとしての機械学習の重要な部分である。 多くのサービスが利用できるが、価格とパフォーマンスの異質性は、ユーザーが自分のデータと予算のためにどのapiとapiの組み合わせを使うかを決めるのを難しくする。 FrugalMLは、異なるデータ上で各APIの長所と短所を共同で学習し、予算制約の中で利用可能なAPIを適応的に利用する最適なシーケンシャル戦略を自動的に識別する効率的な最適化を行う。 理論的解析により, frugalmlの効率を高めるために, 定式化における自然なスパーシティを活用できることが示された。 我々は、顔の感情認識、感情分析、音声認識などのタスクのために、Google、Microsoft、Amazon、IBM、BaiduなどのML APIを使用して体系的な実験を行う。 さまざまなタスクにおいて、FrugalMLは、最高の単一APIの精度を一致させながら、最大90%のコスト削減を実現し、最高のAPIのコストを一致させながら、最大5%の精度を達成できる。

関連論文リスト

• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• ShortcutsBench: A Large-Scale Real-world Benchmark for API-based Agents [7.166156709980112]
  我々は、APIベースのエージェントの包括的な評価のための大規模なベンチマークであるtextscShortcutsBenchを紹介する。 textscShortcutsBenchには、Apple Inc.のオペレーティングシステムから多くの真のAPIが含まれている。 評価の結果,APIの選択やパラメータの充足,システムやユーザからの必要な情報要求など,複雑なクエリを扱う上での重大な制限が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T08:45:02Z)
• A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
  SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
  論文  参考訳（メタデータ） (2024-05-24T02:44:14Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• HAPI: A Large-scale Longitudinal Dataset of Commercial ML API Predictions [35.48276161473216]
  商用ML APIアプリケーションの1,761,417インスタンスの時系列データセットであるHAPIを提示する。 各インスタンスは、APIに対するクエリ入力と、APIの出力予測/アノテーションと信頼性スコアで構成されている。
  論文  参考訳（メタデータ） (2022-09-18T01:52:16Z)
• Cost Effective MLaaS Federation: A Combinatorial Reinforcement Learning Approach [9.50492686145041]
  異なるMLを連携させることで、分析性能をさらに改善できます。 異なるMLからの生意気な集約の結果は、かなりの一時的なコストを発生させるだけでなく、最適以下のパフォーマンス向上につながる可能性がある。 本稿では,MLプロバイダの適切な選択を統一し,最高の分析性能を実現するためのフレームワークであるArmolを提案する。
  論文  参考訳（メタデータ） (2022-04-29T09:44:04Z)
• Improving the Learnability of Machine Learning APIs by Semi-Automated API Wrapping [0.0]
  学習や使用が容易なAPIを作成するという課題に,特に初心者が対処しています。 広く使われているML API skl のこの問題について検討する。 クライアントプログラムに影響を与えることなく、排除できるAPIの未使用部分と明らかに役に立たない部分を特定します。
  論文  参考訳（メタデータ） (2022-03-29T12:42:05Z)
• FrugalMCT: Efficient Online ML API Selection for Multi-Label Classification Tasks [27.35907550712252]
  OCRなどのマルチラベル分類タスクは、サービス産業としての機械学習の成長の主要な焦点です。 ユーザの予算を尊重しつつ、異なるデータに適応的に利用するAPIをオンライン方式で選択する原則化されたフレームワークであるFrugalMCTを提案する。 マルチラベル画像分類、シーンテキスト認識、名前付きエンティティ認識などのタスクに対して、Google、Microsoft、Amazon、IBM、TencentなどのML APIを使用した体系的な実験を行う。
  論文  参考訳（メタデータ） (2021-02-18T02:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。