論文の概要: KML: Using Machine Learning to Improve Storage Systems
- arxiv url: http://arxiv.org/abs/2111.11554v1
- Date: Mon, 22 Nov 2021 21:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-24 15:59:14.828522
- Title: KML: Using Machine Learning to Improve Storage Systems
- Title(参考訳): KML: 機械学習を使ってストレージシステムを改善する
- Authors: Ibrahim Umit Akgun, Ali Selman Aydin, Aadil Shaikh, Lukas Velikov,
Andrew Burford, Michael McNeill, Michael Arkhangelskiy, and Erez Zadok
- Abstract要約: 機械学習技術はパターンを学習し、それらから一般化し、最適なソリューションを可能にすることを約束する。
我々はKMLアーキテクチャのプロトタイプを開発し、最適な読み出しと読み出しサイズという2つの問題に適用する。
実験の結果、KMLはOSのリソースをほとんど消費せず、遅延を無視できるだけでなく、I/Oスループットを最大2.3倍または15倍改善できるパターンを学習できることがわかった。
- 参考スコア(独自算出の注目度): 0.2810625954925814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Operating systems include many heuristic algorithms designed to improve
overall storage performance and throughput. Because such heuristics cannot work
well for all conditions and workloads, system designers resorted to exposing
numerous tunable parameters to users -- essentially burdening users with
continually optimizing their own storage systems and applications. Storage
systems are usually responsible for most latency in I/O heavy applications, so
even a small overall latency improvement can be significant. Machine learning
(ML) techniques promise to learn patterns, generalize from them, and enable
optimal solutions that adapt to changing workloads. We propose that ML
solutions become a first-class component in OSs and replace manual heuristics
to optimize storage systems dynamically. In this paper, we describe our
proposed ML architecture, called KML. We developed a prototype KML architecture
and applied it to two problems: optimal readahead and NFS read-size values. Our
experiments show that KML consumes little OS resources, adds negligible
latency, and yet can learn patterns that can improve I/O throughput by as much
as 2.3x or 15x for the two use cases respectively -- even for complex,
never-before-seen, concurrently running mixed workloads on different storage
devices.
- Abstract(参考訳): オペレーティングシステムには、全体的なストレージ性能とスループットを改善するために設計された多くのヒューリスティックアルゴリズムが含まれている。
このようなヒューリスティックは、すべての条件やワークロードでうまく機能しないため、システム設計者は、ユーザに多数のチューニング可能なパラメータを公開することに頼った。
ストレージシステムは通常、I/Oヘビーなアプリケーションでほとんどのレイテンシに責任があるため、全体のレイテンシが大幅に改善される可能性がある。
機械学習(ml)技術は、パターンを学習し、それらから一般化し、ワークロードの変化に対応する最適なソリューションを可能にする。
mlソリューションはossの第一級コンポーネントとなり,ストレージシステムを動的に最適化するために手動ヒューリスティックスを置き換えることを提案する。
本稿では,KMLと呼ばれるMLアーキテクチャについて述べる。
我々は,KMLアーキテクチャのプロトタイプを開発し,これを最適な読み出し値とNFS読み出しサイズ値の2つの問題に適用した。
我々の実験によると、KMLはOSリソースをほとんど消費せず、無視可能なレイテンシを追加し、そして2つのユースケースで最大2.3倍または15倍のI/Oスループットを向上できるパターンを学ぶことができる。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Online Adaptation of Language Models with a Memory of Amortized Contexts [86.91360597169563]
MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。
本稿では,新しい文書から情報を圧縮・抽出するメモリ拡張手法を提案する。
実験では,オンライン適応性能,時間,メモリ効率など,MACの複数の面での優位性を実証した。
論文 参考訳(メタデータ) (2024-03-07T08:34:57Z) - Revisiting Zeroth-Order Optimization for Memory-Efficient LLM
Fine-Tuning: A Benchmark [170.47660885570463]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳(メタデータ) (2024-02-18T14:08:48Z) - WWW: What, When, Where to Compute-in-Memory [7.586375491100772]
コンピュート・イン・メモリ(CiM)は、フォン・ノイマンのマシンにおける高いデータ移動コストを軽減するための説得力のあるソリューションとして登場した。
本稿では,機械学習推論高速化のためのCiM統合に関する回答について検討する。
論文 参考訳(メタデータ) (2023-12-26T06:16:12Z) - Efficient LLM inference solution on Intel GPU [15.986315440248294]
トランスフォーマーベースの大規模言語モデル(LLM)は多くの分野で広く使われている。
低レイテンシかつ高スループットで効率的なLLM推論ソリューションを提案する。
標準的なHuggingFaceの実装と比較して、提案されたソリューションは最大で7倍のトークンレイテンシと27倍のスループットを実現している。
論文 参考訳(メタデータ) (2023-12-19T05:40:43Z) - Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。
本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
論文 参考訳(メタデータ) (2023-10-30T02:04:20Z) - L2MAC: Large Language Model Automatic Computer for Unbounded Code
Generation [59.36095386978232]
トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。
本稿では,L2MACについて述べる。L2MACは,LLMをベースとした,長大かつ一貫したコード生成のための,最初の実用的プログラム自動計算機である。
論文 参考訳(メタデータ) (2023-10-02T16:55:19Z) - Efficient Memory Management for Large Language Model Serving with
PagedAttention [44.70922552274376]
大規模言語モデル(LLM)の高スループットサービスには,一度に十分な数の要求が要求される。
既存のシステムでは、各要求のキー値キャッシュ(KVキャッシュ)メモリが巨大で、成長し、動的に縮小するため、苦労している。
本稿では,オペレーティングシステムにおける従来の仮想メモリとページング技術にヒントを得たアテンションアルゴリズムであるPagedAttentionを提案する。
論文 参考訳(メタデータ) (2023-09-12T12:50:04Z) - LM-Infinite: Zero-Shot Extreme Length Generalization for Large Language
Models [88.19189563759942]
この研究は、この長大一般化失敗に寄与する3つの主要な要因を特定する。
本研究では,LLMの長期処理能力を高めるための簡易かつ効果的な手法であるLM-Infiniteを提案する。
パラメータの更新がないため、2Kまたは4Kのセグメントで事前訓練されたLLMは、パープレキシティを維持しながら最大2億の入力を一般化することができる。
論文 参考訳(メタデータ) (2023-08-30T16:47:51Z) - NumS: Scalable Array Programming for the Cloud [82.827921577004]
タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。
これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。
LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
論文 参考訳(メタデータ) (2022-06-28T20:13:40Z) - CMML: Contextual Modulation Meta Learning for Cold-Start Recommendation [27.10619426913709]
CMML(Contextal Modulation Meta Learning)と呼ばれる推薦フレームワークを提案する。
CMMLは完全なフィードフォワード操作で構成されており、計算効率が良く、主要な産業展開と完全に互換性がある。
実世界の様々なデータセット上で,シナリオ固有の設定とユーザ固有のコールドスタート設定の両方にアプローチを検証する。
論文 参考訳(メタデータ) (2021-08-24T03:45:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。