論文の概要: FrugalMCT: Efficient Online ML API Selection for Multi-Label Classification Tasks

• arxiv url: http://arxiv.org/abs/2102.09127v1
• Date: Thu, 18 Feb 2021 02:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-19 14:28:07.468947
• Title: FrugalMCT: Efficient Online ML API Selection for Multi-Label Classification Tasks
• Title（参考訳）: FrugalMCT: マルチラベル分類タスクのための効率的なオンラインML API選択
• Authors: Lingjiao Chen and Matei Zaharia and James Zou
• Abstract要約: OCRなどのマルチラベル分類タスクは、サービス産業としての機械学習の成長の主要な焦点です。 ユーザの予算を尊重しつつ、異なるデータに適応的に利用するAPIをオンライン方式で選択する原則化されたフレームワークであるFrugalMCTを提案する。 マルチラベル画像分類、シーンテキスト認識、名前付きエンティティ認識などのタスクに対して、Google、Microsoft、Amazon、IBM、TencentなどのML APIを使用した体系的な実験を行う。
• 参考スコア（独自算出の注目度）: 27.35907550712252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-label classification tasks such as OCR and multi-object recognition are a major focus of the growing machine learning as a service industry. While many multi-label prediction APIs are available, it is challenging for users to decide which API to use for their own data and budget, due to the heterogeneity in those APIs' price and performance. Recent work shows how to select from single-label prediction APIs. However the computation complexity of the previous approach is exponential in the number of labels and hence is not suitable for settings like OCR. In this work, we propose FrugalMCT, a principled framework that adaptively selects the APIs to use for different data in an online fashion while respecting user's budget. The API selection problem is cast as an integer linear program, which we show has a special structure that we leverage to develop an efficient online API selector with strong performance guarantees. We conduct systematic experiments using ML APIs from Google, Microsoft, Amazon, IBM, Tencent and other providers for tasks including multi-label image classification, scene text recognition and named entity recognition. Across diverse tasks, FrugalMCT can achieve over 90% cost reduction while matching the accuracy of the best single API, or up to 8% better accuracy while matching the best API's cost.
• Abstract（参考訳）: OCRやマルチオブジェクト認識などのマルチラベル分類タスクは、サービス産業としての機械学習の成長の主要な焦点です。 多くのマルチラベル予測APIが利用可能であるが、それらのAPIの価格とパフォーマンスの異質性のために、ユーザが自分のデータと予算に使用するAPIを決定することは困難である。 最近の研究は、シングルラベル予測APIの選択方法を示している。 しかし、従来の手法の計算複雑性はラベル数で指数関数的であるため、OCRのような設定には適さない。 本研究では,ユーザの予算を尊重しつつ,異なるデータに対して使用するAPIをオンライン方式で適応的に選択する原則化されたフレームワークであるFrugalMCTを提案する。 API選択問題は整数線形プログラムとして実装されており、高い性能保証を備えた効率的なオンラインAPIセレクタの開発に活用できる特別な構造を持つことを示す。 マルチラベル画像分類、シーンテキスト認識、名前付きエンティティ認識などのタスクに対して、Google、Microsoft、Amazon、IBM、TencentなどのML APIを使用した体系的な実験を行う。 さまざまなタスクにわたって、frugalmctは最高のシングルapiの精度にマッチしながら90%以上のコスト削減を達成し、最高のapiのコストにマッチしながら最大8%の精度を向上できる。

関連論文リスト

• A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
  私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスフレームワークであるAutoRestTestを紹介します。 MARL(Multi-Agent Reinforcement Learning)とSPDG(Semantic Property Dependency Graph)とLLM(Large Language Models)を統合した。 このアプローチでは、REST APIテストを、API、依存性、パラメータ、バリューという4つのエージェントが協力して、API探索を最適化する、分離可能な問題として扱います。
  論文  参考訳（メタデータ） (2024-11-11T16:20:27Z)
• A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
  API提案は、現代のソフトウェア開発において重要なタスクである。 大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
  論文  参考訳（メタデータ） (2024-09-20T03:12:35Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• APICom: Automatic API Completion via Prompt Learning and Adversarial Training-based Data Augmentation [6.029137544885093]
  APIレコメンデーションは、開発者が多数の候補APIの中で必要なAPIを見つけるのを支援するプロセスである。 これまでの研究では、主にAPIレコメンデーションをレコメンデーションタスクとしてモデル化していた。 ニューラルネットワーク翻訳研究領域に動機づけられたこの問題を生成タスクとしてモデル化することができる。 提案手法は,プロンプト学習に基づく新しいアプローチAPIComを提案し,そのプロンプトに応じてクエリに関連するAPIを生成する。
  論文  参考訳（メタデータ） (2023-09-13T15:31:50Z)
• Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
  ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。 BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。 非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
  論文  参考訳（メタデータ） (2023-05-10T16:40:52Z)
• HAPI: A Large-scale Longitudinal Dataset of Commercial ML API Predictions [35.48276161473216]
  商用ML APIアプリケーションの1,761,417インスタンスの時系列データセットであるHAPIを提示する。 各インスタンスは、APIに対するクエリ入力と、APIの出力予測/アノテーションと信頼性スコアで構成されている。
  論文  参考訳（メタデータ） (2022-09-18T01:52:16Z)
• On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
  開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。 開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。 既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
  論文  参考訳（メタデータ） (2022-04-05T20:33:24Z)
• Embedding Code Contexts for Cryptographic API Suggestion:New Methodologies and Comparisons [9.011910726620536]
  APIレコメンデーションのための新しいニューラルネットワークベースのアプローチであるMulti-HyLSTMを提案する。 プログラム分析を使用して、APIの埋め込みと推奨をガイドします。 245のテストケースの分析では、商用ツールのCodotaと比較して、トップ1の推奨精度は88.98%に達した。
  論文  参考訳（メタデータ） (2021-03-15T22:27:57Z)
• FrugalML: How to Use ML Prediction APIs More Accurately and Cheaply [36.94826820536239]
  我々はFrugalMLを提案する。FrugalMLは、異なるデータ上で各APIの長所と短所を共同で学習する、原則化されたフレームワークである。 理論解析により,FrugalMLを効率よくするために,定式化における自然の空間性を利用することが可能であることが示唆された。 さまざまなタスクにおいて、FrugalMLは、最高の単一APIの精度を一致させながら、最大90%のコスト削減を実現し、最高のAPIのコストを一致させながら、最大5%の精度を達成できる。
  論文  参考訳（メタデータ） (2020-06-12T23:43:23Z)
• Learning Attentive Pairwise Interaction for Fine-Grained Classification [53.66543841939087]
  本稿では,細粒度分類のための簡易かつ効果的な監視ペアワイド・インタラクション・ネットワーク(API-Net)を提案する。 API-Netはまず相互機能ベクトルを学習し、入力ペアのセマンティックな違いをキャプチャする。 そして、この相互ベクトルと個々のベクトルを比較して、各入力画像のゲートを生成する。 詳細な分類において,5つの人気のあるベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2020-02-24T12:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。