論文の概要: Temporal Decisions: Leveraging Temporal Correlation for Efficient Decisions in Early Exit Neural Networks

• arxiv url: http://arxiv.org/abs/2403.07958v1
• Date: Tue, 12 Mar 2024 08:28:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 16:55:00.790886
• Title: Temporal Decisions: Leveraging Temporal Correlation for Efficient Decisions in Early Exit Neural Networks
• Title（参考訳）: 時間的決定 : 時間的相関を有効に活用する 早期排他ニューラルネットワークにおける決定
• Authors: Max Sponner and Lorenzo Servadei and Bernd Waschneck and Robert Wille and Akash Kumar
• Abstract要約: 本稿では,早期排他ニューラルネットワークの決定機構としての差分検出と時間パタンスについて述べる。 健康モニタリング、画像分類、ウェイクワード検出タスクにおけるそれらの効果を評価する。 推定平均演算を最大80%削減し,元のモデルの5%以内の精度を維持した。
• 参考スコア（独自算出の注目度）: 4.343246899774834
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep Learning is becoming increasingly relevant in Embedded and Internet-of-things applications. However, deploying models on embedded devices poses a challenge due to their resource limitations. This can impact the model's inference accuracy and latency. One potential solution are Early Exit Neural Networks, which adjust model depth dynamically through additional classifiers attached between their hidden layers. However, the real-time termination decision mechanism is critical for the system's efficiency, latency, and sustained accuracy. This paper introduces Difference Detection and Temporal Patience as decision mechanisms for Early Exit Neural Networks. They leverage the temporal correlation present in sensor data streams to efficiently terminate the inference. We evaluate their effectiveness in health monitoring, image classification, and wake-word detection tasks. Our novel contributions were able to reduce the computational footprint compared to established decision mechanisms significantly while maintaining higher accuracy scores. We achieved a reduction of mean operations per inference by up to 80% while maintaining accuracy levels within 5% of the original model. These findings highlight the importance of considering temporal correlation in sensor data to improve the termination decision.
• Abstract（参考訳）: ディープラーニングは、組み込みや物のインターネットアプリケーションでますます重要になっている。 しかしながら、組み込みデバイスにモデルをデプロイすることは、リソースの制限のために課題となる。 これはモデルの推測精度と遅延に影響を与える可能性がある。 1つの潜在的なソリューションはEarly Exit Neural Networksで、隠れた層の間に付加された分類器を通じてモデル深度を動的に調整する。 しかし、リアルタイム終了決定機構は、システムの効率、レイテンシ、持続的正確性に不可欠である。 本稿では,早期排他ニューラルネットワークの決定機構としての差分検出と時間パタンスについて述べる。 センサデータストリームに存在する時間的相関を利用して、推論を効率的に終了する。 健康モニタリング、画像分類、ウェイクワード検出タスクにおけるそれらの効果を評価する。 我々の新しい貢献は、高い精度のスコアを維持しながら、確立された決定機構に比べて計算フットプリントを著しく削減することができた。 推定平均演算を最大80%削減し,元のモデルの5%以内の精度を維持した。 これらの知見は, 終端判定を改善するために, センサデータの時間的相関を考慮することの重要性を浮き彫りにした。

関連論文リスト

• DelGrad: Exact gradients in spiking networks for learning transmission delays and weights [0.9411751957919126]
  スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。 最近の研究は、これらの遅延とシナプス重みを学習する大きな利点を示している。 イベントベース方式で, シナプス重みと遅延の両方に関して, 正確な損失勾配を計算するための解析的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-30T00:02:34Z)
• Uncertainty-Aware Deep Attention Recurrent Neural Network for Heterogeneous Time Series Imputation [0.25112747242081457]
  欠落は多変量時系列においてユビキタスであり、信頼できる下流分析の障害となる。 本稿では、欠落した値とその関連不確かさを共同で推定するDeep Attention Recurrent Imputation (Imputation)を提案する。 実験の結果,実世界のデータセットを用いた多様な計算タスクにおいて,SOTAを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T13:21:11Z)
• Sensitivity-Aware Amortized Bayesian Inference [8.753065246797561]
  感度分析は、様々なモデリング選択が統計的分析の結果に与える影響を明らかにする。 ニューラルネットワークを用いたシミュレーションベース推論に感度解析を統合するための多面的アプローチである感性認識型ベイズ推論(SA-ABI)を提案する。 本稿では,本手法が病気発生のダイナミクスや地球温暖化のしきい値から人的意思決定に至るまで,応用モデリング問題における有効性を示す。
  論文  参考訳（メタデータ） (2023-10-17T10:14:10Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
  ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
  論文  参考訳（メタデータ） (2022-11-22T15:08:05Z)
• Impact of spiking neurons leakages and network recurrences on event-based spatio-temporal pattern recognition [0.0]
  ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。 スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
  論文  参考訳（メタデータ） (2022-11-14T21:34:02Z)
• Graph Neural Networks with Trainable Adjacency Matrices for Fault Diagnosis on Multivariate Sensor Data [69.25738064847175]
  各センサの信号の挙動を別々に検討し,相互の相関関係と隠れ関係を考慮する必要がある。 グラフノードは、異なるセンサーからのデータとして表現することができ、エッジは、これらのデータの影響を互いに表示することができる。 グラフニューラルネットワークのトレーニング中にグラフを構築する方法が提案されている。これにより、センサー間の依存関係が事前に分かっていないデータ上でモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-10-20T11:03:21Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Accelerating Deep Learning Inference via Learned Caches [11.617579969991294]
  ディープニューラルネットワーク(DNN)は、現実世界の問題を解決する精度が高いため、複数のドメインで採用が増加しています。 現在の低レイテンシソリューションは、精度のトレードオフや、ワークロードの予測に固有の時間的局所性を利用することができない。 低遅延推論のための学習キャッシュを組み込んだエンドツーエンド予測サービングシステムGATIの設計について述べる。
  論文  参考訳（メタデータ） (2021-01-18T22:13:08Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。