論文の概要: Enhancing User Experience in On-Device Machine Learning with Gated Compression Layers
- arxiv url: http://arxiv.org/abs/2405.01739v1
- Date: Thu, 2 May 2024 21:18:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 14:24:53.197616
- Title: Enhancing User Experience in On-Device Machine Learning with Gated Compression Layers
- Title（参考訳）: ゲーテッド圧縮層を用いたオンデバイス機械学習におけるユーザエクスペリエンス向上
- Authors: Haiguang Li, Usama Pervaiz, Joseph Antognini, Michał Matuszak, Lawrence Au, Gilles Roux, Trausti Thormundsso,
- Abstract要約: オンデバイス機械学習(ODML)は強力なエッジアプリケーションを実現するが、リソース制約のあるデバイスにとって電力消費は依然として重要な課題である。
本研究は,パワーを保ちながらODMLモデル性能を向上させるため,GC(Gated Compression)層の利用に焦点を当てる。
GCレイヤは、ニューラルネットワーク内のニューロンの活性化を選択的にゲーティングし、非必要入力を効果的にフィルタリングすることで、データフローを動的に制御する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-device machine learning (ODML) enables powerful edge applications, but power consumption remains a key challenge for resource-constrained devices. To address this, developers often face a trade-off between model accuracy and power consumption, employing either computationally intensive models on high-power cores or pared-down models on low-power cores. Both approaches typically lead to a compromise in user experience (UX). This work focuses on the use of Gated Compression (GC) layer to enhance ODML model performance while conserving power and maximizing cost-efficiency, especially for always-on use cases. GC layers dynamically regulate data flow by selectively gating activations of neurons within the neural network and effectively filtering out non-essential inputs, which reduces power needs without compromising accuracy, and enables more efficient execution on heterogeneous compute cores. These improvements enhance UX through prolonged battery life, improved device responsiveness, and greater user comfort. In this work, we have integrated GC layers into vision and speech domain models including the transformer-based ViT model. Our experiments demonstrate theoretical power efficiency gains ranging from 158x to 30,000x for always-on scenarios. This substantial improvement empowers ODML applications with enhanced UX benefits.
- Abstract（参考訳）: オンデバイス機械学習(ODML)は強力なエッジアプリケーションを実現するが、リソース制約のあるデバイスにとって電力消費は依然として重要な課題である。
これを解決するために、開発者はしばしばモデル精度と消費電力のトレードオフに直面し、高電力コアに計算集約的なモデルを採用するか、低電力コアにパードダウンモデルを使用する。
どちらのアプローチも通常、ユーザエクスペリエンス(UX)の妥協につながる。
この研究は、特に常時オンのユースケースにおいて、電力の保存とコスト効率の最大化を図りながら、ODMLモデル性能を向上させるために、GC(Gated Compression)層を使用することに焦点を当てている。
GCレイヤは、ニューラルネットワーク内のニューロンの活性化を選択的にゲーティングし、非必須入力を効果的にフィルタリングすることで、データフローを動的に制御する。
これらの改善は、バッテリー寿命の延長、デバイスの応答性の改善、ユーザーの快適性の向上を通じてUXを向上させる。
本研究では,トランスフォーマーベースのViTモデルを含む視覚領域モデルと音声領域モデルにGC層を統合した。
実験では, 常時オンシナリオの場合, 158倍から30,000倍の範囲で理論的な電力効率が向上することを示した。
この大幅な改善により、UXのメリットが強化されたODMLアプリケーションが強化される。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Dynamic Switch Layers For Unsupervised Learning [0.0]
オンデバイス機械学習(ODML)は、リソース制約のあるデバイスにおけるインテリジェントなアプリケーションを可能にする。
電力消費は大きな課題となり、モデル精度と電力効率のトレードオフを強要する。
我々は、GCレイヤの利点を教師なしの学習シナリオに拡張するために、Dynamic Switch Layer(DSL)を導入します。
論文 参考訳（メタデータ） (2024-04-05T21:03:11Z) - Towards Physical Plausibility in Neuroevolution Systems [0.276240219662896]
人工知能(AI)モデル、特にディープニューラルネットワーク(DNN)の利用の増加は、トレーニングや推論における消費電力を増加させている。
本研究は機械学習(ML)におけるエネルギー消費の増大問題に対処する。
電力使用量をわずかに削減しても、大幅な省エネ、ユーザ、企業、環境に恩恵をもたらす可能性がある。
論文 参考訳（メタデータ） (2024-01-31T10:54:34Z) - Dynamic Early Exiting Predictive Coding Neural Networks [3.542013483233133]
より小型で正確なデバイスを求めると、Deep Learningモデルはデプロイするには重すぎる。
予測符号化理論と動的早期退避に基づく浅層双方向ネットワークを提案する。
我々は,CIFAR-10上の画像分類におけるVGG-16と同等の精度を,より少ないパラメータと少ない計算量で達成した。
論文 参考訳（メタデータ） (2023-09-05T08:00:01Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Gated Compression Layers for Efficient Always-On Models [1.5612040984769857]
本稿では,既存のニューラルネットワークアーキテクチャをGated Neural Networksに変換するために適用可能な,新しいGated Compression層を提案する。
提案するGated Compression層は、負のサンプルの96%を効果的に停止し、正のサンプルの97%を圧縮し、モデルの精度を維持または改善する。
論文 参考訳（メタデータ） (2023-03-15T22:46:22Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳（メタデータ） (2022-03-26T20:37:14Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - AVAC: A Machine Learning based Adaptive RRAM Variability-Aware
Controller for Edge Devices [3.7346292069282643]
本稿ではAVAC(Adaptive RRAM Variability-Aware Controller)を提案する。
AVACにより、Edgeデバイスは異なるアプリケーションとそのステージに適応し、パフォーマンスを改善し、エネルギー消費を減らすことができる。
論文 参考訳（メタデータ） (2020-05-06T19:06:51Z) - Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。
我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-03-12T07:00:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。