論文の概要: Zero Time Waste: Recycling Predictions in Early Exit Neural Networks

• arxiv url: http://arxiv.org/abs/2106.05409v1
• Date: Wed, 9 Jun 2021 21:57:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-12 22:40:21.962371
• Title: Zero Time Waste: Recycling Predictions in Early Exit Neural Networks
• Title（参考訳）: ゼロタイムムダ:初期エグジットニューラルネットワークにおけるリサイクル予測
• Authors: Maciej Wo{\l}czyk, Bartosz W\'ojcik, Klaudia Ba{\l}azy, Igor Podolak, Jacek Tabor, Marek \'Smieja, Tomasz Trzci\'nski
• Abstract要約: ゼロ時間ムダ(ZTW)は,各ICが前者によって返される予測を再利用する手法である。 我々は、さまざまなデータセットやアーキテクチャにわたる広範な実験を行い、ZTWが推論時間トレードオフよりもはるかに優れた精度を実現していることを示す。
• 参考スコア（独自算出の注目度）: 15.905399451566147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The problem of reducing processing time of large deep learning models is a fundamental challenge in many real-world applications. Early exit methods strive towards this goal by attaching additional Internal Classifiers (ICs) to intermediate layers of a neural network. ICs can quickly return predictions for easy examples and, as a result, reduce the average inference time of the whole model. However, if a particular IC does not decide to return an answer early, its predictions are discarded, with its computations effectively being wasted. To solve this issue, we introduce Zero Time Waste (ZTW), a novel approach in which each IC reuses predictions returned by its predecessors by (1) adding direct connections between ICs and (2) combining previous outputs in an ensemble-like manner. We conduct extensive experiments across various datasets and architectures to demonstrate that ZTW achieves a significantly better accuracy vs. inference time trade-off than other recently proposed early exit methods.
• Abstract（参考訳）: 大規模ディープラーニングモデルの処理時間を短縮する問題は、多くの現実世界アプリケーションにおいて根本的な課題である。 早期終了メソッドは、ニューラルネットワークの中間層に追加の内部分類器(IC)を追加することで、この目標に向かっている。 ICは簡単な例の予測を素早く返し、結果としてモデル全体の平均推測時間を短縮することができる。 しかし、特定のICが答えを早期に返さない場合、その予測は破棄され、その計算は事実上無駄にされる。 そこで本研究では,(1)IC間の直接接続を付加し,(2)前の出力をアンサンブル的な方法で組み合わせることで,各ICが前者から返却した予測を再利用する手法であるZero Time Waste (ZTW)を紹介する。 我々は、ZTWが最近提案された他の早期出口法よりもはるかに精度が良いことを実証するために、さまざまなデータセットやアーキテクチャにわたって広範な実験を行った。

関連論文リスト

• PreRoutGNN for Timing Prediction with Order Preserving Partition: Global Circuit Pre-training, Local Delay Learning and Attentional Cell Modeling [84.34811206119619]
  本稿では,事前のタイミング予測に対する2段階のアプローチを提案する。 まず、回路網リストからグローバルグラフ埋め込みを学習するグラフオートエンコーダを事前学習するためのグローバル回路トレーニングを提案する。 第2に、GCN上のメッセージパッシングのための新しいノード更新方式を、学習したグラフ埋め込みと回路グラフのトポロジ的ソートシーケンスに従って使用する。 21個の実世界の回路の実験では、スラック予測のための新しいSOTA R2が0.93で達成され、以前のSOTA法では0.59をはるかに上回っている。
  論文  参考訳（メタデータ） (2024-02-27T02:23:07Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• IVP-VAE: Modeling EHR Time Series with Initial Value Problem Solvers [20.784780497613557]
  状態進化をIPPによって直接近似できる連続プロセスを用いて、時系列を純粋にモデル化することを提案する。 これにより、リカレント計算が不要になり、複数の状態が並列に進化することが可能になる。 実世界の3つのデータセットの実験から,提案手法は先進国を体系的に上回り,最先端の結果が得られ,データ効率の面で大きな優位性を持つことが示された。
  論文  参考訳（メタデータ） (2023-05-11T11:53:31Z)
• Uncovering the Missing Pattern: Unified Framework Towards Trajectory Imputation and Prediction [60.60223171143206]
  軌道予測は、観測されたシーケンスから実体運動や人間の行動を理解する上で重要な作業である。 現在の方法では、観測されたシーケンスが完了したと仮定し、欠落した値の可能性を無視する。 本稿では,グラフに基づく条件変動リカレントニューラルネットワーク (GC-VRNN) の統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-28T14:27:27Z)
• A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
  反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。 自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。 時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
  論文  参考訳（メタデータ） (2023-01-24T08:39:20Z)
• Time Series Forecasting Models Copy the Past: How to Mitigate [24.397660153755997]
  ノイズや不確実性の存在下では、ニューラルネットワークモデルは時系列の最後の観測値を複製する傾向がある。 本稿では、以前に見られた値の複製を罰する正規化項を提案する。 以上の結果から, 正規化という用語は, 上記の問題をある程度緩和し, より堅牢なモデルがもたらされることが示唆された。
  論文  参考訳（メタデータ） (2022-07-27T10:39:00Z)
• Resource-Constrained Edge AI with Early Exit Prediction [5.060405696893342]
  デバイスエッジコ推論システムにおいて,デバイス上での計算オーバーヘッドを低減するための早期出口予測機構を提案する。 具体的には,Exit Predictorと呼ばれる低複雑さモジュールを設計し,初期出口の計算をバイパスする「ハード」なサンプルを導出する。 通信帯域の変動を考慮すると、レイテンシを考慮したエッジ推論の早期終了予測機構を拡張する。
  論文  参考訳（メタデータ） (2022-06-15T03:14:21Z)
• Recurrent Neural Networks for Learning Long-term Temporal Dependencies with Reanalysis of Time Scale Representation [16.32068729107421]
  時間的表現としての忘れ門の解釈は、状態に対する損失の勾配が時間とともに指数関数的に減少するときに有効であると主張する。 本稿では,従来のモデルよりも長い時間スケールを表現できる新しいRNNの構築手法を提案する。
  論文  参考訳（メタデータ） (2021-11-05T06:22:58Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Multi-Time-Scale Input Approaches for Hourly-Scale Rainfall-Runoff Modeling based on Recurrent Neural Networks [0.0]
  繰り返しニューラルネットワーク(RNN)による時系列モデリングに必要な計算時間を削減する2つの手法を提案する。 1つのアプローチは、RNNに並列に入力時系列の粗い時間分解を提供する。 その結果,提案手法のどちらも,RNNのトレーニングに要する時間を大幅に短縮できることを確認した。
  論文  参考訳（メタデータ） (2021-01-30T07:51:55Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。