論文の概要: Scaling ML Products At Startups: A Practitioner's Guide
- arxiv url: http://arxiv.org/abs/2304.10660v1
- Date: Thu, 20 Apr 2023 22:02:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 16:24:49.624613
- Title: Scaling ML Products At Startups: A Practitioner's Guide
- Title(参考訳): スタートアップにおけるMLプロダクトのスケーリング - 実践者のガイド
- Authors: Atul Dhingra, Gaurav Sood
- Abstract要約: 我々は、コストを、モデルを提供するコストと、新しいモデルを開発し、訓練するコストと、パフォーマンスと固定コストに分割する。
我々は、これらのコストを概念化し、それらをより細いカテゴリに分割し、コストを削減できるフレームワークを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How do you scale a machine learning product at a startup? In particular, how
do you serve a greater volume, velocity, and variety of queries
cost-effectively? We break down costs into variable costs-the cost of serving
the model and performant-and fixed costs-the cost of developing and training
new models. We propose a framework for conceptualizing these costs, breaking
them into finer categories, and limn ways to reduce costs. Lastly, since in our
experience, the most expensive fixed cost of a machine learning system is the
cost of identifying the root causes of failures and driving continuous
improvement, we present a way to conceptualize the issues and share our
methodology for the same.
- Abstract(参考訳): スタートアップの機械学習プロダクトをどのようにスケールするか?
特に、より多くのボリューム、ベロシティ、さまざまなクエリをコスト効率良く提供するには、どうすればよいのでしょう?
コストを可変コスト(モデル提供のコストとパフォーマンスのコスト)と固定コスト(新しいモデルの開発とトレーニングのコスト)に分解します。
我々は,これらのコストを概念化し,より細かいカテゴリに分割し,コストを削減するためのlimn手法を提案する。
最後に、私たちの経験では、マシンラーニングシステムの最も高価な固定コストは、障害の根本原因を特定し、継続的な改善を促進するコストであるので、問題を概念化し、方法論を共有する方法を示します。
関連論文リスト
- A Primal-Dual Online Learning Approach for Dynamic Pricing of Sequentially Displayed Complementary Items under Sale Constraints [54.46126953873298]
顧客に対して順次表示される補完アイテムの動的価格設定の問題に対処する。
各項目の価格を個別に最適化するのは効果がないため、補完項目のコヒーレントな価格ポリシーが不可欠である。
実世界のデータからランダムに生成した合成設定を用いて,我々のアプローチを実証的に評価し,制約違反や後悔の観点からその性能を比較した。
論文 参考訳(メタデータ) (2024-07-08T09:55:31Z) - Power Hungry Processing: Watts Driving the Cost of AI Deployment? [74.19749699665216]
生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。
この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。
これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。
本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
論文 参考訳(メタデータ) (2023-11-28T15:09:36Z) - Cost-Effective Retraining of Machine Learning Models [2.9461360639852914]
データが時間とともに変化するにつれて、そのパフォーマンスを維持するためには、機械学習(ML)モデルを再トレーニングすることが重要です。
これにより、再トレーニングの頻度が高過ぎると、不要な計算コストが発生し、再トレーニングが不十分になる。
本稿では,MLモデルをいつ再トレーニングするかを自動かつ費用対効果で決定するMLシステムを提案する。
論文 参考訳(メタデータ) (2023-10-06T13:02:29Z) - A Penny a Function: Towards Cost Transparent Cloud Programming [3.858859576352153]
コスト要因を理解するための既存のツールは、しばしばソースコードから切り離される。
既存のクラウドアプリケーションのコストモデルは、計算リソースのような特定の要因に焦点を当てている。
本稿では、コードから直接金銭的コスト推定を導出できる有向グラフに基づくコストモデルに向けた最初の取り組みについて述べる。
論文 参考訳(メタデータ) (2023-09-10T08:02:12Z) - Accelerated and Inexpensive Machine Learning for Manufacturing Processes
with Incomplete Mechanistic Knowledge [0.0]
本稿では,この問題に対処するトランスファーラーニングに基づくアプローチを提案する。
MLモデルは、物理ベースのプロセスモデル(ソース)から大量の計算コストのかかるデータに基づいて訓練され、その後、より安価な実験データ(ターゲット)に基づいて微調整される。
情報源の極めて機能的かつ定量的な不正確さにもかかわらず、我々の手法はモデル開発コストを何年も削減し、実験コストを56~76%削減し、計算コストを桁違いに削減し、予測誤差を16~24%削減する。
論文 参考訳(メタデータ) (2023-04-29T10:54:57Z) - Optimizing Data Collection for Machine Learning [87.37252958806856]
現代のディープラーニングシステムは、素晴らしいパフォーマンスを達成するために巨大なデータセットを必要とします。
過度に収集したデータは不要な現在のコストを発生させる一方、過度に収集したデータは将来のコストと遅延を引き起こす可能性がある。
本稿では,データ収集を形式的最適データ収集問題としてモデル化するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2022-10-03T21:19:05Z) - Zero-Shot Cost Models for Out-of-the-box Learned Cost Prediction [18.46293613612346]
ゼロショットコストモデルを導入し、未確認データベースに一般化した学習コスト推定を可能にする。
事前学習したコストモデルに基づく新しい学習パラダイムを提案する。
ゼロショットコストモデルが数ショットモードで利用可能であることを示し、未知のデータベースに少数追加のトレーニングクエリを追加するだけで、その品質をさらに向上できることを示した。
論文 参考訳(メタデータ) (2022-01-03T10:11:35Z) - Low-Cost Algorithmic Recourse for Users With Uncertain Cost Functions [74.00030431081751]
本稿では,ユーザ固有のコスト関数の概念を定式化し,ユーザのための行動可能なリコースを識別する新しい手法を提案する。
本手法は,強いベースライン法に比べて最大25.89パーセントのユーザを満足させる。
論文 参考訳(メタデータ) (2021-11-01T19:49:35Z) - ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳(メタデータ) (2021-10-11T14:45:00Z) - Training Over-parameterized Models with Non-decomposable Objectives [46.62273918807789]
より一般的なコスト行列を扱うために,ロジット調整という古典的な考え方を拡張した新たなコスト感受性損失を提案する。
私たちの損失は校正され、教師モデルの蒸留ラベルでさらに改善できます。
論文 参考訳(メタデータ) (2021-07-09T19:29:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。