論文の概要: The Hidden Bloat in Machine Learning Systems

• arxiv url: http://arxiv.org/abs/2503.14226v1
• Date: Tue, 18 Mar 2025 13:04:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:16:50.962082
• Title: The Hidden Bloat in Machine Learning Systems
• Title（参考訳）: 機械学習システムにおける隠れた肥大化
• Authors: Huaifeng Zhang, Ahmed Ali-Eldin,
• Abstract要約: ソフトウェア肥大(Software bloat)とは、実行時にソフトウェアが使わないコードや機能を指す。 機械学習(ML)システムにとって、肥大は技術的負債に対する大きな貢献者であり、パフォーマンスとリソースの浪費を減少させる。 我々は,共有ライブラリを解析することにより,MLフレームワークの肥大を識別・除去する新しいツールであるNegativa-MLを提案する。
• 参考スコア（独自算出の注目度）: 0.22099217573031676
• License:
• Abstract: Software bloat refers to code and features that is not used by a software during runtime. For Machine Learning (ML) systems, bloat is a major contributor to their technical debt leading to decreased performance and resource wastage. In this work, we present, Negativa-ML, a novel tool to identify and remove bloat in ML frameworks by analyzing their shared libraries. Our approach includes novel techniques to detect and locate unnecessary code within device code - a key area overlooked by existing research, which focuses primarily on host code. We evaluate Negativa-ML using four popular ML frameworks across ten workloads over 300 shared libraries. The results demonstrate that the ML frameworks are highly bloated on both the device and host code side. On average, Negativa-ML reduces the device code size in these frameworks by up to 75% and the host code by up to 72%, resulting in total file size reductions of up to 55%. The device code is a primary source of bloat within ML frameworks. Through debloating, we achieve reductions in peak host memory usage, peak GPU memory usage, and execution time by up to 74.6%, 69.6%, and 44.6%, respectively.
• Abstract（参考訳）: ソフトウェア肥大(Software bloat)とは、実行時にソフトウェアが使わないコードや機能を指す。 機械学習(ML)システムにとって、肥大は技術的負債に対する大きな貢献者であり、パフォーマンスとリソースの浪費を減少させる。 本研究では,共有ライブラリを解析してMLフレームワークの肥大を識別・除去する新しいツールであるNegativa-MLを提案する。 当社のアプローチには,デバイスコード内で不要なコードを検出して検出する,新たなテクニックが含まれています。 我々は、300以上の共有ライブラリで10のワークロードにまたがる4つの一般的なMLフレームワークを使用して、Negativa-MLを評価した。 その結果、MLフレームワークはデバイスとホストコードの両方で高度に肥大化していることがわかった。 平均して、Negativa-MLはこれらのフレームワークのデバイスコードサイズを75%、ホストコードは最大72%削減し、ファイルサイズを最大55%削減する。 デバイスコードはMLフレームワーク内での肥大化の主要なソースである。 Debloatingにより、ピークホストメモリ使用量、ピークGPUメモリ使用量、実行時間をそれぞれ74.6%、69.6%、44.6%まで削減できる。

関連論文リスト

• KGym: A Platform and Dataset to Benchmark Large Language Models on Linux Kernel Crash Resolution [59.20933707301566]
  大規模言語モデル(LLM)は、ますます現実的なソフトウェア工学(SE)タスクにおいて一貫して改善されている。 現実世界のソフトウェアスタックでは、Linuxカーネルのような基本的なシステムソフトウェアの開発にSEの取り組みが費やされています。 このような大規模システムレベルのソフトウェアを開発する際にMLモデルが有用かどうかを評価するため、kGymとkBenchを紹介する。
  論文  参考訳（メタデータ） (2024-07-02T21:44:22Z)
• Images are Achilles' Heel of Alignment: Exploiting Visual Vulnerabilities for Jailbreaking Multimodal Large Language Models [107.88745040504887]
  マルチモーダル大言語モデル(MLLM)の無害アライメント問題について検討する。 そこで本研究では,テキスト入力における悪意のある意図の有害性を隠蔽し,増幅する,HADESという新しいジェイルブレイク手法を提案する。 実験の結果、HADESは既存のMLLMを効果的にジェイルブレイクし、LLaVA-1.5では90.26%、Gemini Pro Visionでは71.60%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-03-14T18:24:55Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
  Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
  論文  参考訳（メタデータ） (2023-10-02T17:42:37Z)
• Condensing Multilingual Knowledge with Lightweight Language-Specific Modules [52.973832863842546]
  本稿では,Language-Specific Matrix Synthesis (LMS)法を紹介する。 このアプローチは、2つのかなり小さな行列から低ランク行列を生成することでLSモジュールを構築する。 複数のLSモジュールからの多言語知識を、Fuse Distillation (FD) 技術を用いて単一の共有モジュールに格納する。
  論文  参考訳（メタデータ） (2023-05-23T12:21:38Z)
• MEMA Runtime Framework: Minimizing External Memory Accesses for TinyML on Microcontrollers [3.1823074562424756]
  本稿では,TinyMLシステムにおける行列乗算のための外部メモリアクセスを最小限に抑える,効率的な推論ランタイムのためのMEMAフレームワークを提案する。 我々は,MEMAから派生したランタイムと,ARMベースのTinyMLシステム上での既存の最先端ライブラリのパフォーマンスを比較した。
  論文  参考訳（メタデータ） (2023-04-12T00:27:11Z)
• Machine Learning Systems are Bloated and Vulnerable [2.7023370929727277]
  ソフトウェアシステムの肥大を解析するフレームワークであるMMLBを開発した。 MMLBはコンテナレベルとパッケージレベルの両方の肥大度を測定します。 肥大化が機械学習コンテナのサイズの最大80%を占めることを示している。
  論文  参考訳（メタデータ） (2022-12-16T10:34:27Z)
• MinUn: Accurate ML Inference on Microcontrollers [2.2638536653874195]
  TinyMLとして知られる小さなデバイスで機械学習推論を実行することは、新たな研究分野である。 MinUnは、ARMマイクロコントローラの効率的なコードを生成するために、これらの問題に一様に対処する最初のTinyMLフレームワークである。
  論文  参考訳（メタデータ） (2022-10-29T10:16:12Z)
• A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
  Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。 これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T11:01:23Z)
• MLPerf Tiny Benchmark [1.1178096184080788]
  我々は、超低消費電力の小さな機械学習システムのための業界標準ベンチマークスイートであるTinyerf Tinyを紹介する。 Tinyerf Tinyは、機械学習推論の正確性、レイテンシ、エネルギーを測定し、システム間のトレードオフを適切に評価する。
  論文  参考訳（メタデータ） (2021-06-14T17:05:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。