Fugu-MT 論文翻訳(概要): RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances

論文の概要: RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances

arxiv url: http://arxiv.org/abs/2207.11434v1
Date: Sat, 23 Jul 2022 06:45:14 GMT
ステータス: 処理完了
システム内更新日: 2022-07-26 15:46:14.184561
Title: RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances
Title（参考訳）: RIBBON: クラウドコンピューティングインスタンスの多彩なプールを用いたコスト効果とQoS対応ディープラーニングモデル推論
Authors: Baolin Li, Rohan Basu Roy, Tirthak Patel, Vijay Gadepally, Karen Gettings, Devesh Tiwari
Abstract要約: RIBBONは、新しいディープラーニング推論サービスシステムである。サービス品質(QoS)の目標とコスト効率の2つの競合目標を満たす。
参考スコア（独自算出の注目度）: 7.539635201319158
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning model inference is a key service in many businesses and scientific discovery processes. This paper introduces RIBBON, a novel deep learning inference serving system that meets two competing objectives: quality-of-service (QoS) target and cost-effectiveness. The key idea behind RIBBON is to intelligently employ a diverse set of cloud computing instances (heterogeneous instances) to meet the QoS target and maximize cost savings. RIBBON devises a Bayesian Optimization-driven strategy that helps users build the optimal set of heterogeneous instances for their model inference service needs on cloud computing platforms -- and, RIBBON demonstrates its superiority over existing approaches of inference serving systems using homogeneous instance pools. RIBBON saves up to 16% of the inference service cost for different learning models including emerging deep learning recommender system models and drug-discovery enabling models.
Abstract（参考訳）: ディープラーニングモデル推論は多くのビジネスや科学的発見プロセスにおいて重要なサービスである。本稿では,qos(quality-of-service)目標とコスト効率の2つの目標を満たした,新しいディープラーニング推論システムであるribbonを紹介する。 RIBBONの背景にある重要な考え方は、QoSの目標を満たし、コスト削減を最大化するために、さまざまなクラウドコンピューティングインスタンス(異種インスタンス)をインテリジェントに採用することだ。リボンは、クラウドコンピューティングプラットフォーム上で必要となるモデル推論サービスのために、ユーザが最適なヘテロジニアスインスタンスセットを構築するのを支援するベイズ最適化駆動戦略を考案する。 RIBBONは、新たなディープラーニング推奨システムモデルやドラッグ発見可能なモデルなど、さまざまな学習モデルの推論サービスのコストを最大16%削減する。

関連論文リスト

Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文参考訳（メタデータ） (2024-01-11T15:02:15Z)
Federated Learning While Providing Model as a Service: Joint Training and Inference Optimization [30.305956110710266]
フェデレーション学習は、分散クライアント間のモデルのトレーニングを可能にする上で有益である。既存の作業は、クライアントの限られたリソースの下でのモデルトレーニングと推論の共存を見落としている。本稿では,クライアントにおける推論性能を最大化するために,モデルトレーニングと推論の協調最適化に焦点を当てる。
論文参考訳（メタデータ） (2023-12-20T09:27:09Z)
Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文参考訳（メタデータ） (2023-12-03T13:50:24Z)
Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文参考訳（メタデータ） (2023-06-28T18:14:22Z)
KAIROS: Building Cost-Efficient Machine Learning Inference Systems with Heterogeneous Cloud Resources [10.462798429064277]
KAIROSは、目標達成時のクエリスループットとコスト予算を最大化する、新しいランタイムフレームワークである。産業レベルのディープラーニング(DL)モデルを用いて評価した結果,KAIROSは最適均一解のスループットを最大2倍に向上することがわかった。
論文参考訳（メタデータ） (2022-10-12T03:06:51Z)
Serving and Optimizing Machine Learning Workflows on Heterogeneous Infrastructures [9.178035808110124]
JellyBeanは、異種インフラストラクチャ上での機械学習推論の提供と最適化のためのフレームワークである。 JellyBeanは、視覚的質問応答のサービスコストを最大58%削減し、NVIDIA AI City Challengeからの車両追跡を最大36%削減する。
論文参考訳（メタデータ） (2022-05-10T07:32:32Z)
Energy-Aware Edge Association for Cluster-based Personalized Federated Learning [2.3262774900834606]
無線ネットワーク上のフェデレートラーニングは、プライバシ保存モデルトレーニングのために、ネットワークエッジにおけるユビキタスインテリジェンスを活用することによって、データ意識のサービスを可能にする。我々は、類似した好みのユーザデバイスをグループ化するクラスタ化フェデレーション学習を提案し、各クラスタにパーソナライズされたモデルを提供する。モデル精度、通信資源割り当て、エネルギー消費を共同で考慮し、精度-コストトレードオフ最適化問題を定式化する。
論文参考訳（メタデータ） (2022-02-06T07:58:41Z)
Cost-Effective Federated Learning in Mobile Edge Networks [37.16466118235272]
フェデレートラーニング(FL)は、多くのモバイルデバイスが生データを共有せずに協調的にモデルを学習できる分散ラーニングパラダイムである。本研究は,モバイルエッジネットワークにおける適応FLの設計手法を解析し,本質的な制御変数を最適に選択し,総コストを最小化する。我々は,収束関連未知パラメータを学習するために,低コストなサンプリングベースアルゴリズムを開発した。
論文参考訳（メタデータ） (2021-09-12T03:02:24Z)
Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。コア最適化問題の実用的なパラメトリゼーションを提供する。
論文参考訳（メタデータ） (2021-07-08T18:01:02Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)
A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
論文参考訳（メタデータ） (2020-03-30T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。