論文の概要: Batching for Green AI -- An Exploratory Study on Inference

• arxiv url: http://arxiv.org/abs/2307.11434v1
• Date: Fri, 21 Jul 2023 08:55:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-24 13:12:28.243524
• Title: Batching for Green AI -- An Exploratory Study on Inference
• Title（参考訳）: グリーンAIのためのバッチ - 推論に関する探索的研究
• Authors: Tim Yarally, Lu\'is Cruz, Daniel Feitosa, June Sallou, Arie van Deursen
• Abstract要約: 5つの完全学習ニューラルネットワークのエネルギー消費と応答時間に及ぼす入力の影響について検討した。 一般的にエネルギー消費は、精度よりもはるかに急激なペースで増加し、この進化の必要性に疑問が呈される。
• 参考スコア（独自算出の注目度）: 8.025202812165412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The batch size is an essential parameter to tune during the development of new neural networks. Amongst other quality indicators, it has a large degree of influence on the model's accuracy, generalisability, training times and parallelisability. This fact is generally known and commonly studied. However, during the application phase of a deep learning model, when the model is utilised by an end-user for inference, we find that there is a disregard for the potential benefits of introducing a batch size. In this study, we examine the effect of input batching on the energy consumption and response times of five fully-trained neural networks for computer vision that were considered state-of-the-art at the time of their publication. The results suggest that batching has a significant effect on both of these metrics. Furthermore, we present a timeline of the energy efficiency and accuracy of neural networks over the past decade. We find that in general, energy consumption rises at a much steeper pace than accuracy and question the necessity of this evolution. Additionally, we highlight one particular network, ShuffleNetV2(2018), that achieved a competitive performance for its time while maintaining a much lower energy consumption. Nevertheless, we highlight that the results are model dependent.
• Abstract（参考訳）: 新しいニューラルネットワークの開発において、バッチサイズはチューニングに必須のパラメータである。 他の品質指標の中でも、モデルの正確性、一般化可能性、トレーニング時間、並列性に大きな影響を与える。 この事実は一般に知られ、一般に研究されている。 しかし、ディープラーニングモデルの適用段階では、モデルがエンドユーザーが推論に利用する場合、バッチサイズを導入することの潜在的な利点を無視することがある。 本研究では,入力バッチ処理がコンピュータビジョンのための5つの完全学習ニューラルネットワークのエネルギー消費と応答時間に及ぼす影響について検討した。 その結果、どちらの指標にもバッチ処理が大きな影響を与えることが示唆された。 さらに,過去10年間のニューラルネットワークのエネルギー効率と精度の時系列について述べる。 一般的に、エネルギー消費は正確性よりもずっと急なペースで上昇し、この進化の必要性に疑問を呈する。 さらに1つの特定のネットワークであるShuffleNetV2(2018)を強調し、エネルギー消費をはるかに低く保ちながら、当時競争力を発揮した。 それでも、結果はモデルに依存しています。

関連論文リスト

• The Impact of Uniform Inputs on Activation Sparsity and Energy-Latency Attacks in Computer Vision [4.45482419850721]
  研究者は最近、ニューラルネットワークのエネルギー消費と決定レイテンシを高めるために、攻撃者が推論時にいわゆるスポンジ例を計算し、提出できることを実証した。 コンピュータビジョンでは、提案された戦略は、計算の高速化に使用可能なアクティベーションの間隔を小さくして入力を作成する。 均一な画像、すなわち、主に平坦で均一に色のついた表面を持つ画像は、畳み込み、バッチ正規化、ReLUアクティベーションの特定の相互作用により、より多くのアクティベーションをトリガーする。
  論文  参考訳（メタデータ） (2024-03-27T14:11:23Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Uncovering Energy-Efficient Practices in Deep Learning Training: Preliminary Steps Towards Green AI [8.025202812165412]
  我々は、エネルギー消費を精度に等しい重要性の指標とみなし、無関係なタスクやエネルギー使用量を減らす。 持続可能性の観点から深層学習パイプラインの訓練段階について検討する。 ディープラーニングモデルをトレーニングするための革新的で有望なエネルギー効率のプラクティスを強調します。
  論文  参考訳（メタデータ） (2023-03-24T12:48:21Z)
• Tree-Based Learning in RNNs for Power Consumption Forecasting [0.4822598110892847]
  RNN(p)と呼ばれる複数の時間ラグで動作するリカレントニューラルネットワークは、自己回帰ARX(p)モデルの自然な一般化である。 我々は、RNN(p)モデルをトレーニングする場合、時間と空間の複雑さの観点から、他の学習アルゴリズムの方がはるかに効率的であることが証明された。 時間スケールでの消費電力予測のためのRNN(p)モデルの適用について述べる。
  論文  参考訳（メタデータ） (2022-09-03T09:21:39Z)
• SATBench: Benchmarking the speed-accuracy tradeoff in object recognition by humans and dynamic neural networks [0.45438205344305216]
  人々はスピードと正確さの間の柔軟なトレードオフを示しています。 ImageNet画像の認識において、SAT(Speed-accuracy Tradeoff)の最初の大規模データセットを示す。 我々は,曲線適合誤差,カテゴリー相関,曲線急勾配について,人とのネットワークを比較した。
  論文  参考訳（メタデータ） (2022-06-16T20:03:31Z)
• How Tempering Fixes Data Augmentation in Bayesian Neural Networks [22.188535244056016]
  テンパリングは、拡張のモデリングから生じる誤特定を暗黙的に減らし、すなわちデータとして示す。 温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
  論文  参考訳（メタデータ） (2022-05-27T11:06:56Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
  コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。 継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
  論文  参考訳（メタデータ） (2021-09-12T09:40:18Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。