論文の概要: Emerging Platforms Meet Emerging LLMs: A Year-Long Journey of Top-Down Development

• arxiv url: http://arxiv.org/abs/2404.09151v2
• Date: Tue, 16 Apr 2024 09:29:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 11:43:48.349792
• Title: Emerging Platforms Meet Emerging LLMs: A Year-Long Journey of Top-Down Development
• Title（参考訳）: 新興プラットフォームのLLM: トップダウン開発1年
• Authors: Siyuan Feng, Jiawei Liu, Ruihang Lai, Charlie F. Ruan, Yong Yu, Lingming Zhang, Tianqi Chen,
• Abstract要約: TapMLは、さまざまなプラットフォームへの機械学習システムのデプロイを合理化するために設計された、トップダウンのアプローチとツーリングである。 従来のボトムアップメソッドとは異なり、TapMLはユニットテストを自動化し、徐々にモデルの計算をオフロードするためのマイグレーションベースの戦略を採用する。 TapMLは1年間にわたる現実世界の取り組みを通じて開発され、重要な新興モデルやプラットフォームをデプロイすることに成功しました。
• 参考スコア（独自算出の注目度）: 20.873143073842705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying machine learning (ML) on diverse computing platforms is crucial to accelerate and broaden their applications. However, it presents significant software engineering challenges due to the fast evolution of models, especially the recent Large Language Models (LLMs), and the emergence of new computing platforms. Current ML frameworks are primarily engineered for CPU and CUDA platforms, leaving a big gap in enabling emerging ones like Metal, Vulkan, and WebGPU. While a traditional bottom-up development pipeline fails to close the gap timely, we introduce TapML, a top-down approach and tooling designed to streamline the deployment of ML systems on diverse platforms, optimized for developer productivity. Unlike traditional bottom-up methods, which involve extensive manual testing and debugging, TapML automates unit testing through test carving and adopts a migration-based strategy for gradually offloading model computations from mature source platforms to emerging target platforms. By leveraging realistic inputs and remote connections for gradual target offloading, TapML accelerates the validation and minimizes debugging scopes, significantly optimizing development efforts. TapML was developed and applied through a year-long, real-world effort that successfully deployed significant emerging models and platforms. Through serious deployments of 82 emerging models in 17 distinct architectures across 5 emerging platforms, we showcase the effectiveness of TapML in enhancing developer productivity while ensuring model reliability and efficiency. Furthermore, we summarize comprehensive case studies from our real-world development, offering best practices for developing emerging ML systems.
• Abstract（参考訳）: さまざまなコンピューティングプラットフォームに機械学習(ML)をデプロイすることは、アプリケーションの加速と拡張に不可欠である。 しかし、モデル、特に最近のLarge Language Models (LLMs) の急速な進化と新しいコンピューティングプラットフォームの出現により、ソフトウェアエンジニアリングの重大な課題が提示される。 現在のMLフレームワークは、主にCPUとCUDAプラットフォーム向けに設計されており、Metal、Vulkan、WebGPUといった新興のフレームワークを有効にするための大きなギャップを残している。 従来のボトムアップ開発パイプラインはギャップをタイムリーに埋めることができないが、開発者の生産性に最適化されたさまざまなプラットフォームへのMLシステムのデプロイを合理化するトップダウンのアプローチとツーリングであるTapMLを導入する。 広範な手動テストとデバッグを含む従来のボトムアップメソッドとは異なり、TapMLはテスト彫刻を通じてユニットテストを自動化するとともに、成熟したソースプラットフォームから新たなターゲットプラットフォームへのモデル計算を徐々にオフロードする移行ベースの戦略を採用している。 リアルな入力とリモート接続を段階的なターゲットオフロードに活用することにより、TapMLはバリデーションを加速し、デバッグスコープを最小化し、開発作業を大幅に最適化する。 TapMLは1年間にわたる現実世界の取り組みを通じて開発され、重要な新興モデルやプラットフォームをデプロイすることに成功しました。 5つの新興プラットフォームにまたがる17の異なるアーキテクチャで82の新興モデルを本格的にデプロイすることで、TapMLが開発者の生産性を向上し、モデルの信頼性と効率を確保できることを示す。 さらに,新たなMLシステムを開発するためのベストプラクティスを提供するために,実世界の開発から包括的ケーススタディを要約する。

関連論文リスト

• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Enhancing Code Generation Performance of Smaller Models by Distilling the Reasoning Ability of LLMs [36.409470894115074]
  我々は、LLMのコード生成推論機能をより小さなモデルに転送することを目的としたCodePLANフレームワークを提案する。 提案手法は,APPSベンチマークにおいて,より小さなモデルのコード生成性能を130%以上向上させる。
  論文  参考訳（メタデータ） (2024-03-20T03:09:54Z)
• Model Share AI: An Integrated Toolkit for Collaborative Machine Learning Model Development, Provenance Tracking, and Deployment in Python [0.0]
  モデル共有AI(AIMS)は、コラボレーティブモデル開発、モデル前駆者追跡、モデルデプロイメントを合理化するように設計された、使いやすいMLOpsプラットフォームである。 AIMSは、協調的なプロジェクト空間と、見当たらない評価データに基づいてモデル提出をランク付けする標準化されたモデル評価プロセスを備えている。 AIMSでは、Scikit-Learn、Keras、PyTorch、ONNXで構築されたMLモデルを、ライブREST APIや自動生成されたWebアプリにデプロイすることができる。
  論文  参考訳（メタデータ） (2023-09-27T15:24:39Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• SeLoC-ML: Semantic Low-Code Engineering for Machine Learning Applications in Industrial IoT [9.477629856092218]
  本稿では,Semantic Low-Code Engineering for ML Applications (SeLoC-ML) というフレームワークを提案する。 SeLoC-MLは、非専門家が大規模なMLモデルやデバイスをモデル化し、発見し、再利用することを可能にする。 開発者は、レシピと呼ばれるセマンティックなアプリケーションテンプレートから、エンドユーザアプリケーションのプロトタイプを高速に作成できる。
  論文  参考訳（メタデータ） (2022-07-18T13:06:21Z)
• YMIR: A Rapid Data-centric Development Platform for Vision Applications [82.67319997259622]
  本稿では,コンピュータビジョンアプリケーションの開発を迅速化するオープンソースプラットフォームについて紹介する。 このプラットフォームは、効率的なデータ開発を機械学習開発プロセスの中心に置く。
  論文  参考訳（メタデータ） (2021-11-19T05:02:55Z)
• Low-Precision Hardware Architectures Meet Recommendation Model Inference at Scale [11.121380180647769]
  本稿では,低精度ハードウェアに参照レコメンデーションモデルを適用するための検索戦略について紹介する。 また,ツールチェーンの設計と開発について論じ,モデルの精度を生涯にわたって維持する。 これらの教訓は,ハードウェアアーキテクチャとソフトウェアエンジニアリングの協調設計を促進するものだ,と私たちは信じています。
  論文  参考訳（メタデータ） (2021-05-26T16:42:33Z)
• Chameleon: A Semi-AutoML framework targeting quick and scalable development and deployment of production-ready ML systems for SMEs [0.0]
  半AutoMLフレームワークChameleonの実装と概念について議論する。 Chameleonの目標は、プロダクション対応機械学習システムの高速でスケーラブルな開発とデプロイを中小企業のワークフローに組み込むことだ。
  論文  参考訳（メタデータ） (2021-05-08T10:43:26Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Quantitatively Assessing the Benefits of Model-driven Development in Agent-based Modeling and Simulation [80.49040344355431]
  本稿では,MDD とABMS プラットフォームの利用状況と開発ミスについて比較する。 その結果、MDD4ABMSはNetLogoと類似した設計品質のシミュレーションを開発するのに、より少ない労力を必要とすることがわかった。
  論文  参考訳（メタデータ） (2020-06-15T23:29:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。