論文の概要: Automatic and Efficient Customization of Neural Networks for ML
Applications
- arxiv url: http://arxiv.org/abs/2310.04685v1
- Date: Sat, 7 Oct 2023 04:13:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 16:37:00.983597
- Title: Automatic and Efficient Customization of Neural Networks for ML
Applications
- Title(参考訳): ml応用のためのニューラルネットワークの自動的かつ効率的なカスタマイズ
- Authors: Yuhan Liu, Chengcheng Wan, Kuntai Du, Henry Hoffmann, Junchen Jiang,
Shan Lu, Michael Maire
- Abstract要約: 本稿では,ChameleonAPIを提案する。
ChameleonAPIは損失関数を使用して、各アプリケーション用にカスタマイズされたニューラルネットワークモデルを効率的にトレーニングする。
最高の商用ML APIを選択するベースラインと比較して、ChameleonAPIは間違ったアプリケーション決定を43%削減することを示す。
- 参考スコア(独自算出の注目度): 29.391143085794184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: ML APIs have greatly relieved application developers of the burden to design
and train their own neural network models -- classifying objects in an image
can now be as simple as one line of Python code to call an API. However, these
APIs offer the same pre-trained models regardless of how their output is used
by different applications. This can be suboptimal as not all ML inference
errors can cause application failures, and the distinction between inference
errors that can or cannot cause failures varies greatly across applications.
To tackle this problem, we first study 77 real-world applications, which
collectively use six ML APIs from two providers, to reveal common patterns of
how ML API output affects applications' decision processes. Inspired by the
findings, we propose ChameleonAPI, an optimization framework for ML APIs, which
takes effect without changing the application source code. ChameleonAPI
provides application developers with a parser that automatically analyzes the
application to produce an abstract of its decision process, which is then used
to devise an application-specific loss function that only penalizes API output
errors critical to the application. ChameleonAPI uses the loss function to
efficiently train a neural network model customized for each application and
deploys it to serve API invocations from the respective application via
existing interface. Compared to a baseline that selects the best-of-all
commercial ML API, we show that ChameleonAPI reduces incorrect application
decisions by 43%.
- Abstract(参考訳): イメージ内のオブジェクトの分類は、APIを呼び出すためのPythonコードの1行と同じくらい簡単になった。
しかし、これらのAPIは、出力がどのように異なるアプリケーションで使われているかに関わらず、同じ事前訓練されたモデルを提供する。
これは、すべてのML推論エラーがアプリケーション障害を引き起こすわけではないため、サブ最適であり、アプリケーション間でエラーを発生または発生できない推論エラーの区別が大きく異なるためである。
この問題に対処するために、我々はまず、2つのプロバイダから6つのML APIをまとめて使用する77の現実世界のアプリケーションを調査し、ML APIの出力がアプリケーションの意思決定プロセスにどのように影響するかの共通パターンを明らかにする。
この知見に触発されて、アプリケーションソースコードを変更することなく有効となるml apiの最適化フレームワークであるchameleonapiを提案する。
chameleonapiはアプリケーション開発者に対して,アプリケーションを自動的に解析して決定プロセスの抽象化を生成するパーサを提供する。
chameleonapiはloss関数を使用して、各アプリケーション用にカスタマイズされたニューラルネットワークモデルを効率的にトレーニングし、既存のインターフェースを介して各アプリケーションからのapi呼び出しにデプロイする。
最高の商用ML APIを選択するベースラインと比較して、ChameleonAPIは間違ったアプリケーション決定を43%削減することを示す。
関連論文リスト
- Octopus: On-device language model for function calling of software APIs [9.78611123915888]
大きな言語モデル(LLM)は、高度なテキスト処理と生成能力のために重要な役割を果たす。
本研究は,ソフトウェアAPIの起動において,デバイス上でのLCMを活用するための新たな戦略を提案する。
論文 参考訳(メタデータ) (2024-04-02T01:29:28Z) - APIServe: Efficient API Support for Large-Language Model Inferencing [10.373453693251154]
APIServeは、API拡張LDMをターゲットにした最初のフレームワークである。
APISERVEはサービス全体のスループットを1.6倍改善し、毎秒2倍のリクエストを処理します。
論文 参考訳(メタデータ) (2024-02-02T19:47:57Z) - Continual Learning From a Stream of APIs [90.41825351073908]
継続学習(CL)は、以前のタスクを忘れずに新しいタスクを学習することを目的としている。
既存のCLメソッドは大量の生データを必要とするが、著作権上の考慮とプライバシー上のリスクのために利用できないことが多い。
本稿では,データ効率CL (DECL-APIs) とデータフリーCL (DFCL-APIs) の2つの実践的yet-novel CL設定について考察する。
論文 参考訳(メタデータ) (2023-08-31T11:16:00Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳(メタデータ) (2023-05-03T21:51:42Z) - Chameleon: Plug-and-Play Compositional Reasoning with Large Language
Models [187.58051653991686]
大規模言語モデル(LLM)は、様々な自然言語処理タスクの解決において顕著な進歩を遂げている。
しかし、最新の情報にアクセスできないため、固有の制限がある。
本稿では,LLMを合成推論のためのプラグアンドプレイモジュールで拡張するAIシステムChameleonを紹介する。
論文 参考訳(メタデータ) (2023-04-19T17:47:47Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z) - Binding Language Models in Symbolic Languages [146.3027328556881]
Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。
解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。
実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
論文 参考訳(メタデータ) (2022-10-06T12:55:17Z) - HAPI: A Large-scale Longitudinal Dataset of Commercial ML API
Predictions [35.48276161473216]
商用ML APIアプリケーションの1,761,417インスタンスの時系列データセットであるHAPIを提示する。
各インスタンスは、APIに対するクエリ入力と、APIの出力予測/アノテーションと信頼性スコアで構成されている。
論文 参考訳(メタデータ) (2022-09-18T01:52:16Z) - Petals: Collaborative Inference and Fine-tuning of Large Models [78.37798144357977]
多くのNLPタスクは、1000億以上のパラメータを持つ大きな言語モデル(LLM)を使用することで恩恵を受ける。
BLOOM-176BとOPT-175Bのリリースにより、誰もがこのスケールで事前訓練されたモデルをダウンロードできる。
我々は,大規模モデルの推測と微調整を協調的に行うシステムとして,Petals $-$を提案する。
論文 参考訳(メタデータ) (2022-09-02T17:38:03Z) - Improving the Learnability of Machine Learning APIs by Semi-Automated
API Wrapping [0.0]
学習や使用が容易なAPIを作成するという課題に,特に初心者が対処しています。
広く使われているML API skl のこの問題について検討する。
クライアントプログラムに影響を与えることなく、排除できるAPIの未使用部分と明らかに役に立たない部分を特定します。
論文 参考訳(メタデータ) (2022-03-29T12:42:05Z) - Did the Model Change? Efficiently Assessing Machine Learning API Shifts [24.342984907651505]
機械学習(ML)予測APIはますます広く使われている。
モデル更新や再トレーニングのために、時間とともに変更することも可能だ。
MLモデルがどのように変更されたかは、ユーザにとって明確ではないことが多い。
論文 参考訳(メタデータ) (2021-07-29T17:41:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。