論文の概要: Relax: Composable Abstractions for End-to-End Dynamic Machine Learning
- arxiv url: http://arxiv.org/abs/2311.02103v1
- Date: Wed, 1 Nov 2023 23:03:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-12 19:46:27.326686
- Title: Relax: Composable Abstractions for End-to-End Dynamic Machine Learning
- Title(参考訳): Relax: エンドツーエンドの動的機械学習のための構成可能な抽象化
- Authors: Ruihang Lai, Junru Shao, Siyuan Feng, Steven S. Lyubomirsky, Bohan
Hou, Wuwei Lin, Zihao Ye, Hongyi Jin, Yuchen Jin, Jiawei Liu, Lesheng Jin,
Yaxing Cai, Ziheng Jiang, Yong Wu, Sunghyun Park, Prakalp Srivastava, Jared
G. Roesch, Todd C. Mowry, Tianqi Chen
- Abstract要約: 本稿では、エンドツーエンドの動的機械学習ワークロードを最適化するためのコンパイラ抽象化であるRelaxを紹介する。
Relaxは、プログラム全体にわたって動的形状の計算を追跡するために、第一級の記号型アノテーションを導入した。
動的形状モデルを最適化するために提案手法を用いて,エンドツーエンドのコンパイルフレームワークを構築した。
- 参考スコア(独自算出の注目度): 19.79913796167022
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Dynamic shape computations have become critical in modern machine learning
workloads, especially in emerging large language models. The success of these
models has driven demand for deploying them to a diverse set of backend
environments. In this paper, we present Relax, a compiler abstraction for
optimizing end-to-end dynamic machine learning workloads. Relax introduces
first-class symbolic shape annotations to track dynamic shape computations
globally across the program. It also introduces a cross-level abstraction that
encapsulates computational graphs, loop-level tensor programs, and library
calls in a single representation to enable cross-level optimizations. We build
an end-to-end compilation framework using the proposed approach to optimize
dynamic shape models. Experimental results on large language models show that
Relax delivers performance competitive with state-of-the-art hand-optimized
systems across platforms and enables deployment of emerging dynamic models to a
broader set of environments, including mobile phones, embedded devices, and web
browsers.
- Abstract(参考訳): 動的形状計算は、現代の機械学習のワークロード、特に大規模言語モデルにおいて重要になっている。
これらのモデルの成功により、さまざまなバックエンド環境にデプロイする必要性が高まった。
本稿では,エンドツーエンドの動的機械学習ワークロードを最適化するコンパイラRelaxを提案する。
relaxは、プログラム全体で動的形状計算を追跡するファーストクラスシンボリック形状アノテーションを導入した。
また、計算グラフ、ループレベルテンソルプログラム、ライブラリ呼び出しを単一の表現でカプセル化し、クロスレベル最適化を可能にするクロスレベル抽象化も導入している。
動的形状モデルを最適化するために提案手法を用いてエンドツーエンドのコンパイルフレームワークを構築する。
大規模言語モデルにおける実験の結果,schellは,最先端のハンド最適化システムと競合するパフォーマンスを,プラットフォーム間で提供し,携帯電話や組み込みデバイス,webブラウザなど,より広い環境に新たな動的モデルの展開を可能にする。
関連論文リスト
- Expedited Training of Visual Conditioned Language Generation via
Redundancy Reduction [61.16125290912494]
$textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。
提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
論文 参考訳(メタデータ) (2023-10-05T03:40:06Z) - TensorIR: An Abstraction for Automatic Tensorized Program Optimization [22.812702519665617]
本稿では,テンソル計算プリミティブでプログラムを最適化するコンパイラIRを提案する。
コンパイルの上にエンドツーエンドのフレームワークを構築し、与えられたテンソル計算プリミティブに対してディープラーニングモデルを自動的に最適化します。
論文 参考訳(メタデータ) (2022-07-09T16:28:57Z) - Learning Intermediate Representations using Graph Neural Networks for
NUMA and Prefetchers Optimization [1.3999481573773074]
本稿では,コード中の静的中間表現(IR)が,性能プロファイリングの禁止コストを伴わずにNUMA/prefetcher最適化を導出する方法を示す。
静的中間表現に基づくモデルでは,高コストな動的性能プロファイリングに基づく戦略によって得られる性能向上の80%を達成できることを示す。
論文 参考訳(メタデータ) (2022-03-01T16:51:30Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - SINGA-Easy: An Easy-to-Use Framework for MultiModal Analysis [18.084628500554462]
SINGA-Easyは、トレーニング段階での分散ハイパーパラメータチューニング、推論段階での動的計算コスト制御、モデル説明によるマルチメディアコンテンツとの直感的なユーザインタラクションを提供する新しいディープラーニングフレームワークである。
マルチモーダリティデータ解析アプリケーションのトレーニングと展開に関する実験により,このフレームワークは動的推論負荷に適応可能であることが示された。
論文 参考訳(メタデータ) (2021-08-03T08:39:54Z) - Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。
確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。
ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文 参考訳(メタデータ) (2021-06-07T11:13:05Z) - TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。
我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
論文 参考訳(メタデータ) (2021-05-17T15:33:25Z) - Learning Discrete Energy-based Models via Auxiliary-variable Local
Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。
エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。
本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文 参考訳(メタデータ) (2020-11-10T19:31:29Z) - A Learned Performance Model for Tensor Processing Units [5.733911161090224]
本稿では,処理ユニット(TPU)インスタンス用のグラフプログラムのコーパスから,パフォーマンスモデルを学習する方法を示す。
学習したモデルでは,2つのタスクにおいて,高度に最適化された分析性能モデルよりも優れていることを示す。
オートチューニングは、TPUへのアクセスが制限されたり、高価な設定で、より高速なプログラムを見つけるのに役立つ。
論文 参考訳(メタデータ) (2020-08-03T17:24:52Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳(メタデータ) (2020-07-13T17:44:30Z) - Nimble: Efficiently Compiling Dynamic Neural Networks for Model
Inference [22.267489467486467]
本論文では、複数のプラットフォーム上で動的ニューラルネットワークを最適化、コンパイル、実行するための高性能で柔軟なシステムであるNimbleを提案する。
我々の評価では、Ninmbleは、ハードウェアプラットフォーム上で、動的ニューラルネットワークのための最先端のディープラーニングフレームワークとランタイムシステムより最大20倍性能が高いことを示す。
論文 参考訳(メタデータ) (2020-06-04T17:39:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。