Fugu-MT 論文翻訳(概要): Serverless inferencing on Kubernetes

論文の概要: Serverless inferencing on Kubernetes

arxiv url: http://arxiv.org/abs/2007.07366v2
Date: Fri, 24 Jul 2020 07:18:25 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 14:25:38.715748
Title: Serverless inferencing on Kubernetes
Title（参考訳）: Kubernetes上のサーバレス推論
Authors: Clive Cox, Dan Sun, Ellis Tarn, Animesh Singh, Rakesh Kelkar, David Goodwin
Abstract要約: 我々は、サーバレス機械学習推論ソリューションを提供するために、KNativeサーバレスパラダイムに基づいて構築されたKFServingプロジェクトについて議論する。 GPUベースの推論を自動スケーリングする際の課題の解決方法を示し、本番環境での使用から学んだ教訓について論じる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Organisations are increasingly putting machine learning models into production at scale. The increasing popularity of serverless scale-to-zero paradigms presents an opportunity for deploying machine learning models to help mitigate infrastructure costs when many models may not be in continuous use. We will discuss the KFServing project which builds on the KNative serverless paradigm to provide a serverless machine learning inference solution that allows a consistent and simple interface for data scientists to deploy their models. We will show how it solves the challenges of autoscaling GPU based inference and discuss some of the lessons learnt from using it in production.
Abstract（参考訳）: 組織はますます、機械学習モデルを大規模に運用している。サーバーレスのスケール・ツー・ゼロパラダイムの人気が高まる中、多くのモデルが継続的に使用されていない場合のインフラストラクチャコストを軽減するために、マシンラーニングモデルをデプロイする機会が生まれる。我々は、KNativeサーバレスパラダイムに基づいて、データサイエンティストがモデルをデプロイするための一貫性とシンプルなインターフェースを提供するサーバレス機械学習推論ソリューションを提供するKFServingプロジェクトについて議論する。 GPUベースの推論を自動スケーリングする際の課題の解決方法を示し、本番環境での使用から学んだ教訓について論じる。

関連論文リスト

Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation [46.86767774669831]
モデル説明の概念に基づく、より効率的で効率的なフェデレーション・アンラーニング・スキームを提案する。我々は、未学習のデータに対して、すでに訓練済みのモデルの中で最も影響力のあるチャネルを選択します。
論文参考訳（メタデータ） (2024-06-18T11:43:20Z)
Reusable MLOps: Reusable Deployment, Reusable Infrastructure and Hot-Swappable Machine Learning models and services [0.0]
私たちは、Reusable MLOpsと呼ばれるAI/MLオペレーションの分野で、持続可能な新しい概念を紹介します。既存のデプロイメントとインフラストラクチャを再利用して、インフラストラクチャやマイクロサービスを分解することなく、それらをホットスワッピングすることで、新しいモデルを提供しています。
論文参考訳（メタデータ） (2024-02-19T23:40:46Z)
Heterogeneous Decentralized Machine Unlearning with Seed Model Distillation [47.42071293545731]
情報セキュリティ法は、訓練された機械学習モデルによって忘れられる無条件の権利を持つユーザーを許した。蒸留したシードモデルを用いて,すべてのクライアントに対して,消去可能なアンサンブルを構築する,HDUSと呼ばれる分散アンラーニングフレームワークを設計する。
論文参考訳（メタデータ） (2023-08-25T09:42:54Z)
Learnware: Small Models Do Big [69.88234743773113]
自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
論文参考訳（メタデータ） (2022-10-07T15:55:52Z)
Continual-Learning-as-a-Service (CLaaS): On-Demand Efficient Adaptation of Predictive Models [17.83007940710455]
機械学習ベースのアプリケーションを構築したい企業にとって、将来の2つのトレンドは、リアルタイムの推論と継続的な更新である。本稿では,これらの課題に対処するため,新しいソフトウェアサービスと継続的学習・アズ・ア・サービス(CL)と呼ばれるモデル配信基盤を定義した。オンプレミスソリューションなしで、効率的でステートフルで使いやすい方法で、データサイエンティストのためのモデル更新とバリデーションツールをサポートする。
論文参考訳（メタデータ） (2022-06-14T16:22:54Z)
Applied Federated Learning: Architectural Design for Robust and Efficient Learning in Privacy Aware Settings [0.8454446648908585]
古典的な機械学習パラダイムは、中央にユーザーデータの集約を必要とする。データの集中化は、内部および外部のセキュリティインシデントのリスクを高めることを含むリスクを引き起こす。差分プライバシーによるフェデレーション学習は、サーバ側の集中化落とし穴を避けるように設計されている。
論文参考訳（メタデータ） (2022-06-02T00:30:04Z)
Serving and Optimizing Machine Learning Workflows on Heterogeneous Infrastructures [9.178035808110124]
JellyBeanは、異種インフラストラクチャ上での機械学習推論の提供と最適化のためのフレームワークである。 JellyBeanは、視覚的質問応答のサービスコストを最大58%削減し、NVIDIA AI City Challengeからの車両追跡を最大36%削減する。
論文参考訳（メタデータ） (2022-05-10T07:32:32Z)
FLHub: a Federated Learning model sharing service [0.7614628596146599]
機械学習モデルの共有サービスとしてフェデレートラーニングハブ(FLHub)を提案する。 FLHubを使えば、GitHubと同じように、他の開発者が開発したモデルをアップロード、ダウンロード、コントリビュートすることができる。我々は、フォークモデルが既存のモデルよりも速くトレーニングを完了し、各フェデレートラウンドで学習がより高速に進行できることを実証した。
論文参考訳（メタデータ） (2022-02-14T06:02:55Z)
SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文参考訳（メタデータ） (2021-12-22T14:45:37Z)
An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文参考訳（メタデータ） (2021-11-19T12:58:59Z)
Information-Theoretic Bounds on the Generalization Error and Privacy Leakage in Federated Learning [96.38757904624208]
モバイルネットワーク上の機械学習アルゴリズムは、3つのカテゴリに分類される。この研究の主な目的は、前述のすべての学習パラダイムに対する情報理論のフレームワークを提供することである。
論文参考訳（メタデータ） (2020-05-05T21:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。