論文の概要: Productively Deploying Emerging Models on Emerging Platforms: A Top-Down Approach for Testing and Debugging

• arxiv url: http://arxiv.org/abs/2404.09151v3
• Date: Thu, 03 Apr 2025 23:20:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:46:41.893168
• Title: Productively Deploying Emerging Models on Emerging Platforms: A Top-Down Approach for Testing and Debugging
• Title（参考訳）: 新興プラットフォームに新たなモデルを生産的にデプロイする - テストとデバッグのためのトップダウンアプローチ
• Authors: Siyuan Feng, Jiawei Liu, Ruihang Lai, Charlie F. Ruan, Yong Yu, Lingming Zhang, Tianqi Chen,
• Abstract要約: textscTapMLは、さまざまなプラットフォームでのモデルのデプロイを合理化するために設計されたトップダウンのアプローチである。 textscTapMLは、新興MLモデルをデプロイするMLC-LLMプロジェクトにおいて、デフォルトの開発メソッドとして使用されている。 2年以内に、textscTapMLは、5つの新興プラットフォームにまたがる27のモデルアーキテクチャに105の新興モデルのデプロイを加速した。
• 参考スコア（独自算出の注目度）: 20.873143073842705
• License:
• Abstract: While existing machine learning (ML) frameworks focus on established platforms, like running CUDA on server-grade GPUs, there have been growing demands to enable emerging AI applications in a broader set of scenarios, such as running Large Language Models (LLMs) within browsers and mobile phones. However, deploying emerging models on new platforms (such as Metal and WebGPU) presents significant software engineering challenges due to rapid model evolution and limited tooling and practices for these platforms. Previous practice for ML model deployment often follows a bottom-up fashion, where engineers first implement individual required operators and then put them together. However, this traditional development approach fails to meet the productivity requirements when deploying emerging ML applications, with the testing and debugging part as a bottleneck. To this end, we introduce \textsc{TapML}, a top-down approach designed to streamline model deployment on diverse platforms. While the traditional bottom-up approach requires crafting manual tests, \textsc{TapML} automatically creates high-quality, realistic test data through operator-wise test carving. Furthermore, \textsc{TapML} uses a migration-based strategy to gradually offload model implementation from the mature source platform to the target platform, minimizing the debugging scope of compound errors. \textsc{TapML} has been used as the default development method in the MLC-LLM project to deploy emerging ML models. Within 2 years, \textsc{TapML} has accelerated the deployment of 105 emerging models in 27 model architectures across 5 emerging platforms. We show that \textsc{TapML} effectively boosts developer productivity while ensuring the quality of deployed models. Furthermore, we summarize comprehensive case studies from our real-world development, offering best practices for developing emerging ML systems.
• Abstract（参考訳）: 既存の機械学習(ML)フレームワークは、サーバグレードのGPU上でCUDAを実行するような確立したプラットフォームに重点を置いているが、ブラウザや携帯電話でLLM(Large Language Models)を実行するような、より広範なシナリオにおいて、新興のAIアプリケーションを有効化するための要求が高まっている。 しかしながら、新しいプラットフォーム(MetalやWebGPUなど)に新興モデルをデプロイすることは、迅速なモデル進化と、これらのプラットフォーム向けのツールやプラクティスの制限による、ソフトウェアエンジニアリング上の大きな課題を提起する。 MLモデルデプロイメントの以前のプラクティスは、エンジニアがまず最初に個々の必要なオペレータを実装して、それらをまとめる、ボトムアップのやり方を踏襲することが多い。 しかし、この従来の開発アプローチは、新しいMLアプリケーションをデプロイする際の生産性要件を満たすことができず、テストとデバッグがボトルネックとなっている。 この目的のために,さまざまなプラットフォーム上でのモデル展開を合理化するためのトップダウンアプローチである \textsc{TapML} を紹介した。 従来のボトムアップアプローチでは手動テストを作成する必要があるが、 \textsc{TapML} はオペレータワイドなテスト彫刻を通じて、高品質で現実的なテストデータを自動的に生成する。 さらに \textsc{TapML} は、移行ベースの戦略を使用して、成熟したソースプラットフォームからターゲットプラットフォームへのモデル実装を徐々にオフロードし、複合エラーのデバッグ範囲を最小限にする。 \textsc{TapML} は、新興MLモデルをデプロイする MLC-LLM プロジェクトにおいて、デフォルトの開発メソッドとして使われてきた。 2年以内に、 \textsc{TapML}は、5つの新興プラットフォームにわたる27のモデルアーキテクチャに105の新興モデルのデプロイを加速した。 また,‘textsc{TapML} は,デプロイモデルの品質を確保しつつ,開発者の生産性を効果的に向上させることを示す。 さらに,新たなMLシステムを開発するためのベストプラクティスを提供するために,実世界の開発から包括的ケーススタディを要約する。

関連論文リスト

• Adversarial Reasoning at Jailbreaking Time [49.70772424278124]
  テスト時間計算による自動ジェイルブレイクに対する逆推論手法を開発した。 我々のアプローチは、LSMの脆弱性を理解するための新しいパラダイムを導入し、より堅牢で信頼性の高いAIシステムの開発の基礎を築いた。
  論文  参考訳（メタデータ） (2025-02-03T18:59:01Z)
• Consolidating TinyML Lifecycle with Large Language Models: Reality, Illusion, or Opportunity? [3.1471494780647795]
  本稿では,Large Language Models(LLM)がTinyMLライフサイクルの自動化と合理化に有効かどうかを考察する。 我々は,自然言語処理(NLP)とLLMのコード生成機能を活用して開発時間を短縮し,TinyMLデプロイメントの参入障壁を低くするフレームワークを開発した。
  論文  参考訳（メタデータ） (2025-01-20T22:20:57Z)
• SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
  画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。 トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。 コードとモデルはリリースされます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:26Z)
• Towards the interoperability of low-code platforms [1.7450893625541586]
  ローコードプラットフォーム (LCP) は様々な産業で普及している。 特にこれらのプラットフォーム間の相互運用性の欠如を考えると、ベンダのロックインは大きな懸念事項である。 本研究では、あるプラットフォームで指定されたモデルから別のプラットフォームへ(半)自律的に移行することで、LCPの相互運用性を改善するアプローチを提案する。
  論文  参考訳（メタデータ） (2024-12-06T14:33:34Z)
• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Model Share AI: An Integrated Toolkit for Collaborative Machine Learning Model Development, Provenance Tracking, and Deployment in Python [0.0]
  モデル共有AI(AIMS)は、コラボレーティブモデル開発、モデル前駆者追跡、モデルデプロイメントを合理化するように設計された、使いやすいMLOpsプラットフォームである。 AIMSは、協調的なプロジェクト空間と、見当たらない評価データに基づいてモデル提出をランク付けする標準化されたモデル評価プロセスを備えている。 AIMSでは、Scikit-Learn、Keras、PyTorch、ONNXで構築されたMLモデルを、ライブREST APIや自動生成されたWebアプリにデプロイすることができる。
  論文  参考訳（メタデータ） (2023-09-27T15:24:39Z)
• SeLoC-ML: Semantic Low-Code Engineering for Machine Learning Applications in Industrial IoT [9.477629856092218]
  本稿では,Semantic Low-Code Engineering for ML Applications (SeLoC-ML) というフレームワークを提案する。 SeLoC-MLは、非専門家が大規模なMLモデルやデバイスをモデル化し、発見し、再利用することを可能にする。 開発者は、レシピと呼ばれるセマンティックなアプリケーションテンプレートから、エンドユーザアプリケーションのプロトタイプを高速に作成できる。
  論文  参考訳（メタデータ） (2022-07-18T13:06:21Z)
• YMIR: A Rapid Data-centric Development Platform for Vision Applications [82.67319997259622]
  本稿では,コンピュータビジョンアプリケーションの開発を迅速化するオープンソースプラットフォームについて紹介する。 このプラットフォームは、効率的なデータ開発を機械学習開発プロセスの中心に置く。
  論文  参考訳（メタデータ） (2021-11-19T05:02:55Z)
• Low-Precision Hardware Architectures Meet Recommendation Model Inference at Scale [11.121380180647769]
  本稿では,低精度ハードウェアに参照レコメンデーションモデルを適用するための検索戦略について紹介する。 また,ツールチェーンの設計と開発について論じ,モデルの精度を生涯にわたって維持する。 これらの教訓は,ハードウェアアーキテクチャとソフトウェアエンジニアリングの協調設計を促進するものだ,と私たちは信じています。
  論文  参考訳（メタデータ） (2021-05-26T16:42:33Z)
• Quantitatively Assessing the Benefits of Model-driven Development in Agent-based Modeling and Simulation [80.49040344355431]
  本稿では,MDD とABMS プラットフォームの利用状況と開発ミスについて比較する。 その結果、MDD4ABMSはNetLogoと類似した設計品質のシミュレーションを開発するのに、より少ない労力を必要とすることがわかった。
  論文  参考訳（メタデータ） (2020-06-15T23:29:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。