論文の概要: Identifying architectural design decisions for achieving green ML
serving
- arxiv url: http://arxiv.org/abs/2402.07585v1
- Date: Mon, 12 Feb 2024 11:35:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 14:29:08.245887
- Title: Identifying architectural design decisions for achieving green ML
serving
- Title(参考訳): グリーンMLサービスの実現に向けたアーキテクチャ設計決定の特定
- Authors: Francisco Dur\'an, Silverio Mart\'inez-Fern\'andez, Matias Martinez,
and Patricia Lago
- Abstract要約: MLアーキテクチャ設計決定の文献とGreen AIについて、特にML提供に焦点を当てて検討する。
この結果から,MLはアーキテクチャ設計決定に対応するコンポーネントや関連技術スタックと合わせて機能することを確認した。
私たちの分析は、MLの研究者や実践者がモデルを提供する際に、グリーンアウェアなアーキテクチャ設計決定を下すのに役立つかもしれません。
- 参考スコア(独自算出の注目度): 10.556809708326915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growing use of large machine learning models highlights concerns about
their increasing computational demands. While the energy consumption of their
training phase has received attention, fewer works have considered the
inference phase. For ML inference, the binding of ML models to the ML system
for user access, known as ML serving, is a critical yet understudied step for
achieving efficiency in ML applications.
We examine the literature in ML architectural design decisions and Green AI,
with a special focus on ML serving. The aim is to analyze ML serving
architectural design decisions for the purpose of understanding and identifying
them with respect to quality characteristics from the point of view of
researchers and practitioners in the context of ML serving literature.
Our results (i) identify ML serving architectural design decisions along with
their corresponding components and associated technological stack, and (ii)
provide an overview of the quality characteristics studied in the literature,
including energy efficiency.
This preliminary study is the first step in our goal to achieve green ML
serving. Our analysis may aid ML researchers and practitioners in making
green-aware architecture design decisions when serving their models.
- Abstract(参考訳): 大規模機械学習モデルの利用の増加は、計算需要の増加に対する懸念を浮き彫りにしている。
トレーニングフェーズのエネルギー消費が注目されている一方で、推論フェーズを考える作業は少ない。
ML推論では、MLサービスとして知られるユーザアクセスのためのMLモデルのMLシステムへのバインディングは、MLアプリケーションで効率を達成するための重要かつ未検討のステップである。
MLアーキテクチャ設計決定の文献とGreen AIについて、特にML提供に焦点を当てて検討する。
本研究の目的は,建築設計決定に係わるMLを,文献提供の文脈における研究者や実践者の視点から,品質特性の理解と識別を目的として分析することである。
私たちの成果は
(i)対応するコンポーネントや関連する技術スタックとともに、アーキテクチャ設計決定を行うmlを特定し、
(ii)エネルギー効率を含む文献で研究されている品質特性の概要を述べる。
この予備的な研究は、グリーンMLサービスを達成するための最初のステップです。
私たちの分析は、モデルを提供する際にグリーンアウェアアーキテクチャ設計を決定するml研究者や実践者に役立つかもしれません。
関連論文リスト
- LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Prismatic VLMs: Investigating the Design Space of Visually-Conditioned
Language Models [77.77951795883698]
視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。
新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
まず,視覚的質問応答,言語からのオブジェクトローカライゼーション,幻覚などの特性を探索する課題セットを対象とする,標準化された評価スイートをコンパイルする。
我々は、事前訓練された視覚表現を含むキー設計軸に沿ったVLMを厳格に調査し、ベース対インストラクション言語モデルを用いたトレードオフの定量化を行う。
論文 参考訳(メタデータ) (2024-02-12T18:21:14Z) - AesBench: An Expert Benchmark for Multimodal Large Language Models on
Image Aesthetics Perception [64.25808552299905]
AesBenchはMLLMの審美的知覚能力の総合評価を目的とした専門家ベンチマークである。
本稿では,プロの審美専門家が提供した多彩な画像内容と高品質なアノテーションを特徴とするEAPD(Expert-labeled Aesthetics Perception Database)を構築した。
本稿では,知覚(AesP),共感(AesE),評価(AesA),解釈(AesI)の4つの視点からMLLMの審美的知覚能力を測定するための統合的基準を提案する。
論文 参考訳(メタデータ) (2024-01-16T10:58:07Z) - Model-driven Engineering for Machine Learning Components: A Systematic
Literature Review [8.810090413018798]
MDE4ML の使用の背景にある主要な動機を明らかにするため,いくつかの分野の研究を分析した。
また,既存の文献のギャップについても論じ,今後の研究を推奨する。
論文 参考訳(メタデータ) (2023-11-01T04:29:47Z) - MDE for Machine Learning-Enabled Software Systems: A Case Study and
Comparison of MontiAnna & ML-Quadrat [5.839906946900443]
我々は,モノのインターネット(IoT)分野に着目した機械学習対応ソフトウェアシステムの開発に,MDEパラダイムを採用することを提案する。
ケーススタディで実証されたように、最先端のオープンソースモデリングツールであるMontiAnnaとML-Quadratが、この目的のためにどのように使用できるかを説明します。
論文 参考訳(メタデータ) (2022-09-15T13:21:16Z) - Towards Perspective-Based Specification of Machine Learning-Enabled
Systems [1.3406258114080236]
本稿では、ML対応システムを特定するための視点に基づくアプローチに向けた取り組みについて述べる。
このアプローチでは、目標、ユーザエクスペリエンス、インフラストラクチャ、モデル、データという5つの視点にグループ化された45のML関心事のセットを分析する。
本論文の主な貢献は、ML対応システムを特定するのに役立つ2つの新しいアーティファクトを提供することである。
論文 参考訳(メタデータ) (2022-06-20T13:09:23Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳(メタデータ) (2021-08-17T17:44:38Z) - Learning by Design: Structuring and Documenting the Human Choices in
Machine Learning Development [6.903929927172917]
本稿では,機械学習モデル作成における熟考と規範的選択を概説する8つの設計質問からなる手法を提案する。
本手法は,方法論的透明性を通じた批判的評価を支援するなど,いくつかの利点がある。
本手法は,MLモデルの開発において,ML実践者が選択や仮定を構造化し,正当化する上で有効であると考えている。
論文 参考訳(メタデータ) (2021-05-03T08:47:45Z) - A Survey of Machine Learning for Computer Architecture and Systems [18.620218353713476]
コンピュータアーキテクチャとシステムが機械学習(ml)アルゴリズムやモデルの効率的な実行を可能にするように最適化されるのは、長い間のことです。
今こそ、MLとシステムの関係を再考し、MLがコンピュータアーキテクチャとシステムが設計される方法を変える時です。
論文 参考訳(メタデータ) (2021-02-16T04:09:57Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳(メタデータ) (2021-01-11T15:54:48Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-21T17:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。