論文の概要: Input-Based Ensemble-Learning Method for Dynamic Memory Configuration of Serverless Computing Functions
- arxiv url: http://arxiv.org/abs/2411.07444v1
- Date: Tue, 12 Nov 2024 00:03:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:20:15.329607
- Title: Input-Based Ensemble-Learning Method for Dynamic Memory Configuration of Serverless Computing Functions
- Title（参考訳）: 入力型アンサンブル学習法によるサーバーレスコンピューティング関数の動的メモリ構成
- Authors: Siddharth Agarwal, Maria A. Rodriguez, Rajkumar Buyya,
- Abstract要約: 本稿では、入力認識によるサーバレス関数のメモリ要求を推定するサーバーレスソリューションであるMemFigLessを紹介する。
MemFigLessは、入力対応のリソース関係をキャプチャし、最大82%のリソースを割り当て、最大87%のランタイムコストを節約できる。
- 参考スコア（独自算出の注目度）: 18.36339203254509
- License:
- Abstract: In today's Function-as-a-Service offerings, a programmer is usually responsible for configuring function memory for its successful execution, which allocates proportional function resources such as CPU and network. However, right-sizing the function memory force developers to speculate performance and make ad-hoc configuration decisions. Recent research has highlighted that a function's input characteristics, such as input size, type and number of inputs, significantly impact its resource demand, run-time performance and costs with fluctuating workloads. This correlation further makes memory configuration a non-trivial task. On that account, an input-aware function memory allocator not only improves developer productivity by completely hiding resource-related decisions but also drives an opportunity to reduce resource wastage and offer a finer-grained cost-optimised pricing scheme. Therefore, we present MemFigLess, a serverless solution that estimates the memory requirement of a serverless function with input-awareness. The framework executes function profiling in an offline stage and trains a multi-output Random Forest Regression model on the collected metrics to invoke input-aware optimal configurations. We evaluate our work with the state-of-the-art approaches on AWS Lambda service to find that MemFigLess is able to capture the input-aware resource relationships and allocate upto 82% less resources and save up to 87% run-time costs.
- Abstract（参考訳）: 今日のFunction-as-a-Serviceでは、プログラマは通常、CPUやネットワークなどの比例関数リソースを割り当てる、実行を成功させるためにファンクションメモリを設定する責任がある。
しかし、ファンクションメモリの右サイズでは、開発者はパフォーマンスを推測し、アドホックな設定決定をせざるを得ない。
最近の研究は、入力サイズ、タイプ、入力数などの関数の入力特性が、リソース需要、実行時のパフォーマンス、ワークロード変動に伴うコストに大きく影響していることを強調している。
この相関により、メモリ構成は非自明なタスクとなる。
その点において、入力対応機能メモリアロケータは、リソース関連の決定を完全に隠蔽することで、開発者の生産性を向上するだけでなく、リソースの無駄を減らし、よりきめ細かなコスト最適化価格体系を提供する。
したがって、入力認識によるサーバレス関数のメモリ要求を推定するサーバーレスソリューションであるMemFigLessを提案する。
このフレームワークはオフラインの段階で関数プロファイリングを実行し、収集されたメトリクスに基づいて複数出力のランダムフォレスト回帰モデルをトレーニングし、入力対応の最適設定を起動する。
私たちはAWS Lambdaサービスの最先端アプローチによる作業を評価し、MemFigLessが入力対応リソースの関係を捉え、最大82%のリソースを割り当て、最大87%のランタイムコストを節約できることを確認した。
関連論文リスト
- Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。
提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文 参考訳（メタデータ） (2024-05-07T17:44:54Z) - SPES: Towards Optimizing Performance-Resource Trade-Off for Serverless Functions [31.01399126339857]
サーバーレスコンピューティングは、その効率性とオンデマンドのクラウドリソースを活用する能力によって、勢いを増している。
既存のソリューションでは、完全な呼び出しパターンを使わずに関数のプリロード/アンロードのために、過剰に単純化された戦略を使う傾向があります。
本研究では、サーバーレス関数のプロビジョニングを最適化することにより、実行時コールドスタート緩和のための最初の差別化スケジューラであるSPESを提案する。
論文 参考訳（メタデータ） (2024-03-26T10:28:41Z) - FedMef: Towards Memory-efficient Federated Dynamic Pruning [42.07105095641134]
フェデレートラーニング(FL)は、データの機密性を優先しながら、分散トレーニングを促進する。
リソース制約のあるデバイスへのその応用は、ディープラーニングモデルをトレーニングするための計算とメモリリソースの要求が高いため、難しい。
我々は,新しい,メモリ効率の高い動的刈取フレームワークであるFedMefを提案する。
論文 参考訳（メタデータ） (2024-03-21T13:54:36Z) - Shabari: Delayed Decision-Making for Faster and Efficient Serverless
Functions [0.30693357740321775]
サーバレスシステムのためのリソース管理フレームワークであるShabariを紹介します。
Shabariは、機能のパフォーマンス目標を満たすために、各呼び出しの右サイズを可能な限り遅くする。
さまざまなサーバレス関数と入力に対して、ShabariはSLO違反を11～73%削減する。
論文 参考訳（メタデータ） (2024-01-16T22:20:36Z) - Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in
Self-Refined Open-Source Models [53.859446823312126]
SoTAは7Bから65Bまでのさまざまなサイズのオープンソースモデルを平均して、ベースラインのパフォーマンスから8.2%改善している。
厳密に言えば、Vicuna-7Bのような非常に小さなメモリフットプリントを持つモデルでさえ、全体的な11.74%の改善と、高い創造性、オープンエンドタスクの25.39%の改善を示している。
論文 参考訳（メタデータ） (2023-10-11T15:56:00Z) - Joint Modeling of Feature, Correspondence, and a Compressed Memory for
Video Object Segmentation [52.11279360934703]
現在のビデオオブジェクト(VOS)メソッドは通常、特徴抽出後のカレントフレームと参照フレームの密マッチングを実行する。
本稿では,特徴量,対応性,圧縮メモリの3要素を共同モデリングするための統合VOSフレームワークであるJointFormerを提案する。
論文 参考訳（メタデータ） (2023-08-25T17:30:08Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。
Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。
ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文 参考訳（メタデータ） (2021-11-22T11:23:01Z) - Harvesting Idle Resources in Serverless Computing via Reinforcement
Learning [7.346628578439277]
FRMは、過給関数から過給関数から過給関数へ動的にアイドルリソースを収穫することで、資源効率を最大化する。
FRMは、各関数のリソース利用をリアルタイムで監視し、過剰なプロビジョニングと過剰なプロビジョンを検出し、深い強化学習を適用してアイドルリソースを安全に回収する。
我々は、FRMプロトタイプを13ノードのApache OpenWhiskクラスタで実装し、デプロイした。
論文 参考訳（メタデータ） (2021-08-28T23:02:56Z) - Optimal Resource Allocation for Serverless Queries [8.59568779761598]
以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。
本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。
論文 参考訳（メタデータ） (2021-07-19T02:55:48Z) - Exploiting Submodular Value Functions For Scaling Up Active Perception [60.81276437097671]
アクティブな知覚タスクでは、エージェントは1つ以上の隠れ変数の不確実性を減少させる感覚行動を選択することを目的としている。
部分的に観測可能なマルコフ決定過程(POMDP)は、そのような問題に対する自然なモデルを提供する。
エージェントが利用できるセンサーの数が増えるにつれて、POMDP計画の計算コストは指数関数的に増加する。
論文 参考訳（メタデータ） (2020-09-21T09:11:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。