論文の概要: Model Compression in Practice: Lessons Learned from Practitioners Creating On-device Machine Learning Experiences

• arxiv url: http://arxiv.org/abs/2310.04621v1
• Date: Fri, 6 Oct 2023 23:11:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 17:09:16.337958
• Title: Model Compression in Practice: Lessons Learned from Practitioners Creating On-device Machine Learning Experiences
• Title（参考訳）: モデル圧縮の実践 - デバイス上での機械学習体験を生み出す実践者から学んだこと
• Authors: Fred Hohman, Mary Beth Kery, Donghao Ren, Dominik Moritz
• Abstract要約: 私たちはAppleの30のエキスパートに、効率的なモデルの製造を専門にインタビューした。 我々の発見は、先行研究から欠落した現実的な考察を提供する。 この作業の難易度を高めるため、ツールの設計勧告を精査する。
• 参考スコア（独自算出の注目度）: 20.946859404575946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device machine learning (ML) promises to improve the privacy, responsiveness, and proliferation of new, intelligent user experiences by moving ML computation onto everyday personal devices. However, today's large ML models must be drastically compressed to run efficiently on-device, a hurtle that requires deep, yet currently niche expertise. To engage the broader human-centered ML community in on-device ML experiences, we present the results from an interview study with 30 experts at Apple that specialize in producing efficient models. We compile tacit knowledge that experts have developed through practical experience with model compression across different hardware platforms. Our findings offer pragmatic considerations missing from prior work, covering the design process, trade-offs, and technical strategies that go into creating efficient models. Finally, we distill design recommendations for tooling to help ease the difficulty of this work and bring on-device ML into to more widespread practice.
• Abstract（参考訳）: オンデバイス機械学習(On-Device Machine Learning, ML)は、ML計算を日常のパーソナルデバイスに移行することで、新たなインテリジェントなユーザエクスペリエンスのプライバシ、応答性、拡散を改善することを約束する。 しかし、今日の大規模なMLモデルは、デバイス上で効率的に動作するために、大幅に圧縮されなければならない。 デバイス上でのMLエクスペリエンスにおいて、より広範な人間中心のMLコミュニティに取り組むために、効率的なモデルの開発を専門とするAppleの専門家30人とのインタビュー研究の結果を紹介する。 我々は、さまざまなハードウェアプラットフォームにわたるモデル圧縮の実践経験を通じて、専門家が開発した暗黙の知識をコンパイルする。 私たちの発見は、設計プロセス、トレードオフ、効率的なモデルを作成するための技術的な戦略など、事前の作業から欠落する実践的な考慮事項を提供します。 最後に、この作業の難易度を緩和し、デバイス上でのMLをより広く実践できるように、ツールの設計勧告を精査する。

関連論文リスト

• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• MLCopilot: Unleashing the Power of Large Language Models in Solving Machine Learning Tasks [31.733088105662876]
  我々は、新しいフレームワークを導入することで、機械学習と人間の知識のギャップを埋めることを目指している。 本稿では、構造化された入力を理解するためのLLMの能力を拡張し、新しいMLタスクを解くための徹底的な推論を行う可能性を示す。
  論文  参考訳（メタデータ） (2023-04-28T17:03:57Z)
• Learnware: Small Models Do Big [69.88234743773113]
  自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。 この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
  論文  参考訳（メタデータ） (2022-10-07T15:55:52Z)
• SeLoC-ML: Semantic Low-Code Engineering for Machine Learning Applications in Industrial IoT [9.477629856092218]
  本稿では,Semantic Low-Code Engineering for ML Applications (SeLoC-ML) というフレームワークを提案する。 SeLoC-MLは、非専門家が大規模なMLモデルやデバイスをモデル化し、発見し、再利用することを可能にする。 開発者は、レシピと呼ばれるセマンティックなアプリケーションテンプレートから、エンドユーザアプリケーションのプロトタイプを高速に作成できる。
  論文  参考訳（メタデータ） (2022-07-18T13:06:21Z)
• Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
  本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。 また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
  論文  参考訳（メタデータ） (2021-08-17T17:44:38Z)
• Improving Semiconductor Device Modeling for Electronic Design Automation by Machine Learning Techniques [6.170514965470266]
  本稿では,変分オートエンコーダを用いたMLに基づくデバイスモデリング改善のための自己拡張戦略を提案する。 提案手法の有効性を実証するために,ガリウム窒化物デバイスにおけるオーミック抵抗値に対するディープニューラルネットワークに基づく予測タスクに適用する。
  論文  参考訳（メタデータ） (2021-05-25T00:52:44Z)
• Learning by Design: Structuring and Documenting the Human Choices in Machine Learning Development [6.903929927172917]
  本稿では,機械学習モデル作成における熟考と規範的選択を概説する8つの設計質問からなる手法を提案する。 本手法は,方法論的透明性を通じた批判的評価を支援するなど,いくつかの利点がある。 本手法は,MLモデルの開発において,ML実践者が選択や仮定を構造化し,正当化する上で有効であると考えている。
  論文  参考訳（メタデータ） (2021-05-03T08:47:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。