論文の概要: Relax: Composable Abstractions for End-to-End Dynamic Machine Learning

• arxiv url: http://arxiv.org/abs/2311.02103v1
• Date: Wed, 1 Nov 2023 23:03:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-12 19:46:27.326686
• Title: Relax: Composable Abstractions for End-to-End Dynamic Machine Learning
• Title（参考訳）: Relax: エンドツーエンドの動的機械学習のための構成可能な抽象化
• Authors: Ruihang Lai, Junru Shao, Siyuan Feng, Steven S. Lyubomirsky, Bohan Hou, Wuwei Lin, Zihao Ye, Hongyi Jin, Yuchen Jin, Jiawei Liu, Lesheng Jin, Yaxing Cai, Ziheng Jiang, Yong Wu, Sunghyun Park, Prakalp Srivastava, Jared G. Roesch, Todd C. Mowry, Tianqi Chen
• Abstract要約: 本稿では、エンドツーエンドの動的機械学習ワークロードを最適化するためのコンパイラ抽象化であるRelaxを紹介する。 Relaxは、プログラム全体にわたって動的形状の計算を追跡するために、第一級の記号型アノテーションを導入した。 動的形状モデルを最適化するために提案手法を用いて,エンドツーエンドのコンパイルフレームワークを構築した。
• 参考スコア（独自算出の注目度）: 19.79913796167022
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Dynamic shape computations have become critical in modern machine learning workloads, especially in emerging large language models. The success of these models has driven demand for deploying them to a diverse set of backend environments. In this paper, we present Relax, a compiler abstraction for optimizing end-to-end dynamic machine learning workloads. Relax introduces first-class symbolic shape annotations to track dynamic shape computations globally across the program. It also introduces a cross-level abstraction that encapsulates computational graphs, loop-level tensor programs, and library calls in a single representation to enable cross-level optimizations. We build an end-to-end compilation framework using the proposed approach to optimize dynamic shape models. Experimental results on large language models show that Relax delivers performance competitive with state-of-the-art hand-optimized systems across platforms and enables deployment of emerging dynamic models to a broader set of environments, including mobile phones, embedded devices, and web browsers.
• Abstract（参考訳）: 動的形状計算は、現代の機械学習のワークロード、特に大規模言語モデルにおいて重要になっている。 これらのモデルの成功により、さまざまなバックエンド環境にデプロイする必要性が高まった。 本稿では,エンドツーエンドの動的機械学習ワークロードを最適化するコンパイラRelaxを提案する。 relaxは、プログラム全体で動的形状計算を追跡するファーストクラスシンボリック形状アノテーションを導入した。 また、計算グラフ、ループレベルテンソルプログラム、ライブラリ呼び出しを単一の表現でカプセル化し、クロスレベル最適化を可能にするクロスレベル抽象化も導入している。 動的形状モデルを最適化するために提案手法を用いてエンドツーエンドのコンパイルフレームワークを構築する。 大規模言語モデルにおける実験の結果,schellは,最先端のハンド最適化システムと競合するパフォーマンスを,プラットフォーム間で提供し,携帯電話や組み込みデバイス,webブラウザなど,より広い環境に新たな動的モデルの展開を可能にする。

関連論文リスト

• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• Flex: End-to-End Text-Instructed Visual Navigation with Foundation Models [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly-lexically) で合成され,VLM(Vision Language Models) をフリーズしたパッチワイド特徴抽出器として利用するフレームワークである。 本研究では,本手法が4段階のフライ・トゥ・ターゲットタスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• TensorIR: An Abstraction for Automatic Tensorized Program Optimization [22.812702519665617]
  本稿では,テンソル計算プリミティブでプログラムを最適化するコンパイラIRを提案する。 コンパイルの上にエンドツーエンドのフレームワークを構築し、与えられたテンソル計算プリミティブに対してディープラーニングモデルを自動的に最適化します。
  論文  参考訳（メタデータ） (2022-07-09T16:28:57Z)
• Learning Intermediate Representations using Graph Neural Networks for NUMA and Prefetchers Optimization [1.3999481573773074]
  本稿では,コード中の静的中間表現(IR)が,性能プロファイリングの禁止コストを伴わずにNUMA/prefetcher最適化を導出する方法を示す。 静的中間表現に基づくモデルでは,高コストな動的性能プロファイリングに基づく戦略によって得られる性能向上の80%を達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-01T16:51:30Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• DiffSRL: Learning Dynamic-aware State Representation for Deformable Object Control with Differentiable Simulator [26.280021036447213]
  ダイナミックス関連情報をキャプチャできる潜在空間は、モデルフリー強化学習の加速のような分野に広く応用されている。 微分可能シミュレーションを利用した動的状態表現学習パイプラインDiffSRLを提案する。 本モデルでは,長期的ダイナミクスと報奨予測の両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-24T04:53:58Z)
• SINGA-Easy: An Easy-to-Use Framework for MultiModal Analysis [18.084628500554462]
  SINGA-Easyは、トレーニング段階での分散ハイパーパラメータチューニング、推論段階での動的計算コスト制御、モデル説明によるマルチメディアコンテンツとの直感的なユーザインタラクションを提供する新しいディープラーニングフレームワークである。 マルチモーダリティデータ解析アプリケーションのトレーニングと展開に関する実験により,このフレームワークは動的推論負荷に適応可能であることが示された。
  論文  参考訳（メタデータ） (2021-08-03T08:39:54Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。