論文の概要: Play It Cool: Dynamic Shifting Prevents Thermal Throttling
- arxiv url: http://arxiv.org/abs/2206.10849v1
- Date: Wed, 22 Jun 2022 05:21:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 14:48:43.819982
- Title: Play It Cool: Dynamic Shifting Prevents Thermal Throttling
- Title（参考訳）: play it cool: 動的シフトは熱スロットリングを防ぐ
- Authors: Yang Zhou, Feng Liang, Ting-wu Chin, Diana Marculescu
- Abstract要約: 本稿では,携帯電話におけるサーマルスロットリングの影響について検討する。
本稿では、共有重み付き動的ネットワークと、大小MLモデルの動的シフトを利用することを提案する。
提案された動的シフトにより、アプリケーションはCPUクロック周波数の劣化や遅延の増加を経験することなく、一貫して動作する。
- 参考スコア（独自算出の注目度）: 24.1818447900859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) has entered the mobile era where an enormous number of
ML models are deployed on edge devices. However, running common ML models on
edge devices continuously may generate excessive heat from the computation,
forcing the device to "slow down" to prevent overheating, a phenomenon called
thermal throttling. This paper studies the impact of thermal throttling on
mobile phones: when it occurs, the CPU clock frequency is reduced, and the
model inference latency may increase dramatically. This unpleasant inconsistent
behavior has a substantial negative effect on user experience, but it has been
overlooked for a long time. To counter thermal throttling, we propose to
utilize dynamic networks with shared weights and dynamically shift between
large and small ML models seamlessly according to their thermal profile, i.e.,
shifting to a small model when the system is about to throttle. With the
proposed dynamic shifting, the application runs consistently without
experiencing CPU clock frequency degradation and latency increase. In addition,
we also study the resulting accuracy when dynamic shifting is deployed and show
that our approach provides a reasonable trade-off between model latency and
model accuracy.
- Abstract（参考訳）: 機械学習(ML)は、エッジデバイスに膨大な数のMLモデルをデプロイするモバイル時代に入った。
しかし、エッジデバイス上で共通のMLモデルを継続的に実行することで、計算から過剰な熱を発生させ、過熱を防ぐためにデバイスを「スローダウン」させてしまうことがある。
本稿では,携帯電話における熱スロットリングの影響について検討する。発生時,cpuクロック周波数が減少し,モデル推論遅延が劇的に増加する可能性がある。
この不快な一貫性のない動作はユーザエクスペリエンスに大きな悪影響を与えますが、長い間見過ごされています。
熱絞り対策として, 共有重み付き動的ネットワークの活用, 大型モデルと小型MLモデル間のシームレスなシフト, すなわち, システムが減速しようとしているときに, 小型モデルに移行することを提案する。
提案された動的シフトにより、アプリケーションはCPUクロック周波数の劣化や遅延の増加を経験することなく、一貫して動作する。
さらに,動的シフトが展開された際の結果の精度についても検討し,モデル遅延とモデル精度との間に合理的なトレードオフをもたらすことを示す。
関連論文リスト
- Lotus: learning-based online thermal and latency variation management for two-stage detectors on edge devices [35.05167987125874]
2段階の物体検出器は、特に小さな物体を識別するために、高精度で正確な位置測定を行う。
2段階検出法に関連する計算コストは、エッジデバイスでより深刻な熱問題を引き起こす。
そこで我々は,CPUとGPUの周波数を動的にスケールアップする2段階検出器に適した新しいフレームワークであるLotusを提案する。
論文 参考訳（メタデータ） (2024-10-01T18:00:09Z) - Rotated Runtime Smooth: Training-Free Activation Smoother for accurate INT4 inference [54.2589824716527]
大規模言語モデルは、その大規模なため、相当な計算とメモリ移動コストを発生させる。
既存のアプローチでは、外れ値と通常の値を2つの行列に分けたり、アクティベーションからウェイトに移行したりしています。
Smooth と Rotation 操作からなる量子化のためのプラグ・アンド・プレイ・アクティベーション・スムーザである Rotated Smooth (RRS) を提案する。
提案手法は,LLaMAおよびQwenファミリーにおける最先端の手法より優れており,IF4推論におけるWikiText-2の難易度は57.33から6.66に向上している。
論文 参考訳（メタデータ） (2024-09-30T14:59:22Z) - Physics-Informed Machine Learning Towards A Real-Time Spacecraft Thermal Simulator [15.313871831214902]
ここで提示されるPIMLモデルまたはハイブリッドモデルは、軌道上の熱負荷条件によって与えられるノイズの低減を予測するニューラルネットワークで構成されている。
我々は,ハイブリッドモデルの計算性能と精度を,データ駆動型ニューラルネットモデルと,地球周回小型宇宙船の高忠実度有限差分モデルと比較した。
PIMLベースのアクティブノダライゼーションアプローチは、ニューラルネットワークモデルや粗いメッシュモデルよりもはるかに優れた一般化を提供すると同時に、高忠実度モデルと比較して計算コストを最大1.7倍削減する。
論文 参考訳（メタデータ） (2024-07-08T16:38:52Z) - A Mixture of Experts Approach to 3D Human Motion Prediction [1.4974445469089412]
本研究は,Au-Tonomous Vehicle Motion Detectionなどのアプリケーションにとって重要な領域である,人間の動作予測の課題に対処する。
私たちの主な目的は、既存のモデルar-tectureを批判的に評価し、その利点と改善の機会を特定することです。
これは完全に微分可能なスパーストランスであり、推論コストの低いモデルキャパシティを有効にする有望な能力を示している。
論文 参考訳（メタデータ） (2024-05-09T20:26:58Z) - A conditional latent autoregressive recurrent model for generation and forecasting of beam dynamics in particle accelerators [46.348283638884425]
本稿では,加速器内の荷電粒子のダイナミクスを学習するための2段階の非教師付きディープラーニングフレームワークであるLatent Autoregressive Recurrent Model (CLARM)を提案する。
CLARMは、潜在空間表現をキャプチャしてデコードすることで、様々な加速器サンプリングモジュールでプロジェクションを生成することができる。
その結果,提案手法の予測能力と生成能力は,様々な評価指標と比較した場合に有望であることが示唆された。
論文 参考訳（メタデータ） (2024-03-19T22:05:17Z) - Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。
提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
論文 参考訳（メタデータ） (2023-12-14T12:57:35Z) - EMDM: Efficient Motion Diffusion Model for Fast and High-Quality Motion Generation [57.539634387672656]
現在の最先端生成拡散モデルでは、優れた結果が得られたが、品質を犠牲にすることなく、高速な生成に苦慮している。
高速かつ高品質な人体運動生成のための効率的な運動拡散モデル(EMDM)を提案する。
論文 参考訳（メタデータ） (2023-12-04T18:58:38Z) - Real-time Object Detection for Streaming Perception [84.2559631820007]
ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。
ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。
提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
論文 参考訳（メタデータ） (2022-03-23T11:33:27Z) - Quantum dynamics simulations beyond the coherence time on NISQ hardware
by variational Trotter compression [0.0]
我々は,今日のIBM量子ハードウェア上でのハイゼンベルクモデルの時間後力学シミュレーションを実演する。
本稿では,現在のハードウェア上で必要なコスト関数,時間進化状態と変動状態の重なりを計測する方法を示す。
実ハードウェア上でのシミュレーションの実施に加えて,ノイズのない,ノイズの多い古典シミュレーションを用いて,アルゴリズムの性能とスケーリング挙動について検討する。
論文 参考訳（メタデータ） (2021-12-23T15:44:47Z) - Multimode cold-damping optomechanics with delayed feedback [0.34376560669160383]
マルチメカニカル共鳴を用いた冷延光力学における時間遅延の役割について検討する。
単一のフィードバックループは、多くのメカニカルモードから熱ノイズを同時に除去するのに十分である。
本稿では、フィードバックループに追加の時間遅延を導入することで、そのような有害な影響に対処することを提案する。
論文 参考訳（メタデータ） (2020-06-15T14:28:45Z) - Learn to cycle: Time-consistent feature discovery for action recognition [83.43682368129072]
時間的変動を一般化することは、ビデオにおける効果的な行動認識の前提条件である。
Squeeze Re Temporal Gates (SRTG) を導入する。
SRTPGブロックを使用する場合,GFLOの数は最小限に抑えられ,一貫した改善が見られた。
論文 参考訳（メタデータ） (2020-06-15T09:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。