論文の概要: Biathlon: Harnessing Model Resilience for Accelerating ML Inference Pipelines

• arxiv url: http://arxiv.org/abs/2405.11191v1
• Date: Sat, 18 May 2024 06:07:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 19:07:29.588001
• Title: Biathlon: Harnessing Model Resilience for Accelerating ML Inference Pipelines
• Title（参考訳）: Biathlon:ML推論パイプラインを高速化するハーネスモデルレジリエンス
• Authors: Chaokun Chang, Eric Lo, Chunxiao Ye,
• Abstract要約: Biathlonは、各アグリゲーション特徴に対する最適な近似度を決定する新しいMLサービスシステムである。 ほぼ精度の低下のない5.3倍から16.6倍のスピードアップを達成することで、リアルタイムレイテンシ要求を満たすBiathlonの能力を実証する。
• 参考スコア（独自算出の注目度）: 2.5663308354306404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning inference pipelines commonly encountered in data science and industries often require real-time responsiveness due to their user-facing nature. However, meeting this requirement becomes particularly challenging when certain input features require aggregating a large volume of data online. Recent literature on interpretable machine learning reveals that most machine learning models exhibit a notable degree of resilience to variations in input. This suggests that machine learning models can effectively accommodate approximate input features with minimal discernible impact on accuracy. In this paper, we introduce Biathlon, a novel ML serving system that leverages the inherent resilience of models and determines the optimal degree of approximation for each aggregation feature. This approach enables maximum speedup while ensuring a guaranteed bound on accuracy loss. We evaluate Biathlon on real pipelines from both industry applications and data science competitions, demonstrating its ability to meet real-time latency requirements by achieving 5.3x to 16.6x speedup with almost no accuracy loss.
• Abstract（参考訳）: データサイエンスや産業でよく見られる機械学習推論パイプラインは、ユーザ向きの性質のため、リアルタイムの応答性を必要とすることが多い。 しかし、ある入力機能が大量のデータをオンラインに集約する必要がある場合、この要件を満たすことは特に困難になる。 解釈可能な機械学習に関する最近の文献によると、ほとんどの機械学習モデルは入力のバリエーションに対して顕著な回復力を示す。 このことは、機械学習モデルが精度に最小限の影響を与えることなく、近似的な入力特徴を効果的に適合させることができることを示唆している。 本稿では,モデル固有のレジリエンスを活用し,各アグリゲーション特徴に対する最適な近似度を決定する新しいMLサービスシステムであるBiathlonを紹介する。 このアプローチは、精度損失の保証されたバウンダリを確保しながら、最大スピードアップを可能にする。 我々は、業界アプリケーションとデータサイエンスコンペティションの両方の実際のパイプライン上で、Biathlonを評価し、5.3倍から16.6倍のスピードアップをほぼ精度の低下なく達成することで、リアルタイムのレイテンシ要求を満たす能力を実証した。

関連論文リスト

• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• Taking ROCKET on an Efficiency Mission: Multivariate Time Series Classification with LightWaveS [3.5786621294068373]
  正確な多変量時系列分類のためのフレームワークLightWaveSを提案する。 ROCKETの機能はわずか2.5%しか採用していないが、最近のディープラーニングモデルに匹敵する精度を実現している。 エッジデバイス上での推論において, ROCKETと比較して9倍から65倍のスピードアップを実現していることを示す。
  論文  参考訳（メタデータ） (2022-04-04T10:52:20Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Passive learning to address nonstationarity in virtual flow metering applications [0.0]
  本稿では,定常仮想フローメータの予測精度を維持するために,学習手法の適用方法について検討する。 周期的バッチ学習とオンライン学習という2つの受動的学習法を、様々なキャリブレーション周波数で応用し、仮想フローメーターを訓練する。 第1に、頻繁な到着測定が存在する場合、頻繁なモデル更新は、時間とともに優れた予測性能を保ち、第2に、間欠的かつ頻繁な到着測定が存在する場合、頻繁な更新は、性能の精度を高めるために不可欠である。
  論文  参考訳（メタデータ） (2022-02-07T14:42:00Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• In-flight Novelty Detection with Convolutional Neural Networks [0.0]
  本稿では,予防的保守意思決定者の注意を喚起するために,システム出力の測定をリアルタイムに優先することを提案する。 本稿では,異常データのオンライン検出と優先順位付けのためのデータ駆動システムを提案する。 このシステムは低消費電力の組み込みハードウェアでリアルタイムに動作可能で、現在ロールス・ロイス・パール15のエンジン飛行試験に配備中である。
  論文  参考訳（メタデータ） (2021-12-07T15:19:41Z)
• Multiaccurate Proxies for Downstream Fairness [20.36220509798361]
  本研究では,センシティブな特徴が訓練時に利用できない場合に,人口的公正な条件に従わなければならないモデルを訓練する際の課題について検討する。 センシティブな機能にアクセス可能な"上流"学習者は、他の属性からこれらの機能のプロキシモデルを学ぶことができる。 この目的のために、下流モデルクラスで十分であるようなマルチ精度の制約に従うことを示します。
  論文  参考訳（メタデータ） (2021-07-09T13:16:44Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)
• LUNAR: Cellular Automata for Drifting Data Streams [19.98517714325424]
  セルオートマトンを合理化したLUNARを提案する。 ドリフト条件に適応しながら、本当の漸進的な学習者として振る舞うことができる。
  論文  参考訳（メタデータ） (2020-02-06T09:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。