論文の概要: Relax: Composable Abstractions for End-to-End Dynamic Machine Learning

• arxiv url: http://arxiv.org/abs/2311.02103v1
• Date: Wed, 1 Nov 2023 23:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-11-12 19:46:27.326686
• Title: Relax: Composable Abstractions for End-to-End Dynamic Machine Learning
• Title（参考訳）: Relax: エンドツーエンドの動的機械学習のための構成可能な抽象化
• Abstract要約: 本稿では、エンドツーエンドの動的機械学習ワークロードを最適化するためのコンパイラ抽象化であるRelaxを紹介する。 Relaxは、プログラム全体にわたって動的形状の計算を追跡するために、第一級の記号型アノテーションを導入した。 動的形状モデルを最適化するために提案手法を用いて,エンドツーエンドのコンパイルフレームワークを構築した。
• 参考スコア（独自算出の注目度）: 19.79913796167022
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Dynamic shape computations have become critical in modern machine learning workloads, especially in emerging large language models. The success of these models has driven demand for deploying them to a diverse set of backend environments. In this paper, we present Relax, a compiler abstraction for optimizing end-to-end dynamic machine learning workloads. Relax introduces first-class symbolic shape annotations to track dynamic shape computations globally across the program. It also introduces a cross-level abstraction that encapsulates computational graphs, loop-level tensor programs, and library calls in a single representation to enable cross-level optimizations. We build an end-to-end compilation framework using the proposed approach to optimize dynamic shape models. Experimental results on large language models show that Relax delivers performance competitive with state-of-the-art hand-optimized systems across platforms and enables deployment of emerging dynamic models to a broader set of environments, including mobile phones, embedded devices, and web browsers.
• Abstract（参考訳）: 動的形状計算は、現代の機械学習のワークロード、特に大規模言語モデルにおいて重要になっている。 これらのモデルの成功により、さまざまなバックエンド環境にデプロイする必要性が高まった。 本稿では,エンドツーエンドの動的機械学習ワークロードを最適化するコンパイラRelaxを提案する。 relaxは、プログラム全体で動的形状計算を追跡するファーストクラスシンボリック形状アノテーションを導入した。 また、計算グラフ、ループレベルテンソルプログラム、ライブラリ呼び出しを単一の表現でカプセル化し、クロスレベル最適化を可能にするクロスレベル抽象化も導入している。 動的形状モデルを最適化するために提案手法を用いてエンドツーエンドのコンパイルフレームワークを構築する。 大規模言語モデルにおける実験の結果,schellは,最先端のハンド最適化システムと競合するパフォーマンスを,プラットフォーム間で提供し,携帯電話や組み込みデバイス,webブラウザなど,より広い環境に新たな動的モデルの展開を可能にする。

関連論文リスト

• FluxVLA Engine: A One-Stop VLA Engineering Platform for Embodied Intelligence [21.911710953682256]
  $mathrmFluxVLA$はオープンで構成駆動のプラットフォームで、不均一なエンボディされたコンポーネントをデータからデプロイのワークフローに変換する。 $mathrmFluxVLA$は、データセット、ビジュアル言語および世界モデル、アクションヘッド、報酬または有利な学習、分散トレーニング、シミュレーション評価、最適化推論、ロボットオペレータのインターフェースを標準化する。
  論文  参考訳（メタデータ） (2026-09-15T13:59:09Z)
• M*: A Modular, Extensible, Serving System for Multimodal Models [62.77975969000349]
  本稿では,複合AIモデルの効率的な提供を目的とした汎用サービスシステムであるM*を提案する。 広範囲の家族から合成モデルを簡潔にキャプチャする方法を示す。 M*はまた、ロボット計画のためのV-JEPA 2-ACロールアウトベースラインを最大12.5倍上回っている。
  論文  参考訳（メタデータ） (2026-06-10T21:22:22Z)
• GRACE: A Dynamic Coreset Selection Framework for Large Language Model Optimization [10.688822115811865]
  大規模言語モデル(LLM)のためのグラフ誘導適応および動的コアセット選択フレームワークを提案する。 GRACEは、表現の多様性と勾配に基づく重要なメトリクスを組み合わせることで、コアセットを動的に構築し、更新する。 GRACEは様々なLLMやタスクのトレーニング効率とダウンストリームのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2026-04-09T14:08:01Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• Flex: End-to-End Text-Instructed Visual Navigation with Foundation Models [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly-lexically) で合成され,VLM(Vision Language Models) をフリーズしたパッチワイド特徴抽出器として利用するフレームワークである。 本研究では,本手法が4段階のフライ・トゥ・ターゲットタスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• TensorIR: An Abstraction for Automatic Tensorized Program Optimization [22.812702519665617]
  本稿では,テンソル計算プリミティブでプログラムを最適化するコンパイラIRを提案する。 コンパイルの上にエンドツーエンドのフレームワークを構築し、与えられたテンソル計算プリミティブに対してディープラーニングモデルを自動的に最適化します。
  論文  参考訳（メタデータ） (2022-07-09T16:28:57Z)
• Learning Intermediate Representations using Graph Neural Networks for NUMA and Prefetchers Optimization [1.3999481573773074]
  本稿では,コード中の静的中間表現(IR)が,性能プロファイリングの禁止コストを伴わずにNUMA/prefetcher最適化を導出する方法を示す。 静的中間表現に基づくモデルでは,高コストな動的性能プロファイリングに基づく戦略によって得られる性能向上の80%を達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-01T16:51:30Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• DiffSRL: Learning Dynamic-aware State Representation for Deformable Object Control with Differentiable Simulator [26.280021036447213]
  ダイナミックス関連情報をキャプチャできる潜在空間は、モデルフリー強化学習の加速のような分野に広く応用されている。 微分可能シミュレーションを利用した動的状態表現学習パイプラインDiffSRLを提案する。 本モデルでは,長期的ダイナミクスと報奨予測の両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-24T04:53:58Z)
• SINGA-Easy: An Easy-to-Use Framework for MultiModal Analysis [18.084628500554462]
  SINGA-Easyは、トレーニング段階での分散ハイパーパラメータチューニング、推論段階での動的計算コスト制御、モデル説明によるマルチメディアコンテンツとの直感的なユーザインタラクションを提供する新しいディープラーニングフレームワークである。 マルチモーダリティデータ解析アプリケーションのトレーニングと展開に関する実験により,このフレームワークは動的推論負荷に適応可能であることが示された。
  論文  参考訳（メタデータ） (2021-08-03T08:39:54Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)
• A Learned Performance Model for Tensor Processing Units [5.733911161090224]
  本稿では,処理ユニット(TPU)インスタンス用のグラフプログラムのコーパスから,パフォーマンスモデルを学習する方法を示す。 学習したモデルでは,2つのタスクにおいて,高度に最適化された分析性能モデルよりも優れていることを示す。 オートチューニングは、TPUへのアクセスが制限されたり、高価な設定で、より高速なプログラムを見つけるのに役立つ。
  論文  参考訳（メタデータ） (2020-08-03T17:24:52Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)
• Nimble: Efficiently Compiling Dynamic Neural Networks for Model Inference [22.267489467486467]
  本論文では、複数のプラットフォーム上で動的ニューラルネットワークを最適化、コンパイル、実行するための高性能で柔軟なシステムであるNimbleを提案する。 我々の評価では、Ninmbleは、ハードウェアプラットフォーム上で、動的ニューラルネットワークのための最先端のディープラーニングフレームワークとランタイムシステムより最大20倍性能が高いことを示す。
  論文  参考訳（メタデータ） (2020-06-04T17:39:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。