論文の概要: Leveraging AutoML for Sustainable Deep Learning: A Multi-Objective HPO Approach on Deep Shift Neural Networks

• arxiv url: http://arxiv.org/abs/2606.23208v1
• Date: Mon, 22 Jun 2026 11:53:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 21:12:35.835877
• Title: Leveraging AutoML for Sustainable Deep Learning: A Multi-Objective HPO Approach on Deep Shift Neural Networks
• Title（参考訳）: 持続可能なディープラーニングのためのAutoMLの活用:ディープシフトニューラルネットワークにおける多目的HPOアプローチ
• Authors: Leona Hennig, Marius Lindauer,
• Abstract要約: 我々は、特に低リソース環境において、コンピュータビジョンのコアタスクである画像分類に焦点を当てている。 提案手法により,デフォルトのDSNNに比べて損失および排出に関するDSNNの構成が大幅に改善した。 放射能と精度の両面から量子化されたネットワークの挙動を調べると、我々の実験は驚くべきモデル固有のトレードオフを明らかにし、最大の省エネ効果をもたらす。
• 参考スコア（独自算出の注目度）: 9.353524841177316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning (DL) has advanced various fields by extracting complex patterns from large datasets. However, the computational demands of DL models pose environmental and resource challenges. Deep Shift Neural Networks (DSNNs) present a solution by leveraging shift operations to reduce computational complexity at inference. Compared to common DNNs, DSNNs are still less well understood and less well optimized. By leveraging AutoML techniques, we provide valuable insights into the potential of DSNNs and how to design them in a better way. We focus on image classification, a core task in computer vision, especially in low-resource environments. Since we consider complementary objectives such as accuracy and energy consumption, we combine state-of-the-art multi-fidelity (MF) hyperparameter optimization (HPO) with multi-objective optimization to find a set of Pareto optimal trade-offs on how to design DSNNs. Our approach led to significantly better configurations of DSNNs regarding loss and emissions compared to default DSNNs. This includes simultaneously increasing performance by about 20% and reducing emissions, in some cases by more than 60%. Investigating the behavior of quantized networks in terms of both emissions and accuracy, our experiments reveal surprising model-specific trade-offs, yielding the greatest energy savings. For example, in contrast to common expectations, quantizing smaller portions of the network with low precision can be optimal with respect to energy consumption while retaining or improving performance. We corroborated these findings across multiple backbone architectures, highlighting important nuances in quantization strategies and offering an automated approach to balancing energy efficiency and model performance.
• Abstract（参考訳）: ディープラーニング(DL)は、大規模なデータセットから複雑なパターンを抽出することで、様々な分野を進化させた。 しかし、DLモデルの計算要求は環境と資源の課題を引き起こす。 Deep Shift Neural Networks (DSNN) は、シフト演算を活用して、推論時の計算複雑性を低減するソリューションを提供する。 一般的なDNNと比較して、DSNNはまだよく理解されておらず、最適化も良くない。 AutoMLのテクニックを活用することで、DSNNの可能性と、それらをよりよい方法で設計する方法に関する貴重な洞察を提供する。 我々は、特に低リソース環境において、コンピュータビジョンのコアタスクである画像分類に焦点を当てている。 精度やエネルギー消費などの相補的な目的を考察するため, DSNNの設計方法に関するパレート最適トレードオフのセットを見つけるために, 最先端マルチパラメータ最適化(MF)と多目的最適化を組み合わせた。 提案手法により,デフォルトのDSNNに比べて損失および排出に関するDSNNの構成が大幅に改善した。 これには、性能を約20%向上させ、排出量を60%以上削減することが含まれる。 放射能と精度の両面から量子化されたネットワークの挙動を調べると、我々の実験は驚くべきモデル固有のトレードオフを明らかにし、最大の省エネ効果をもたらす。 例えば、一般的な期待とは対照的に、ネットワークの小さな部分を低い精度で定量化することは、性能を維持したり改善したりしながら、エネルギー消費に対して最適である。 複数のバックボーンアーキテクチャにまたがってこれらの発見を裏付け、量子化戦略における重要なニュアンスを強調し、エネルギー効率とモデル性能のバランスをとるための自動化されたアプローチを提供した。

関連論文リスト

• Ge$^\text{2}$mS-T: Multi-Dimensional Grouping for Ultra-High Energy Efficiency in Spiking Transformer [84.8831358775386]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも優れたエネルギー効率を提供する ANN-SNN ConversionやSpatial-Temporal Backpropagation (STBP)といった既存のパラダイムは、固有の制限に悩まされている。 Ge$text2$mS-Tを提案する。これは時間的・空間的・ネットワーク的構造次元にまたがるグループ計算を実装した新しいアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-10T02:58:46Z)
• S$^2$NN: Sub-bit Spiking Neural Networks [53.08060832135342]
  スパイキングニューラルネットワーク(SNN)は、マシンインテリジェンスにエネルギー効率のよいパラダイムを提供する。 最近のバイナリSNNの進歩にもかかわらず、大規模ネットワークではストレージと計算の要求が相当に大きい。 1ビット未満の重みを表すサブビットスパイキングニューラルネットワーク(S$2$NNs)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T04:17:44Z)
• QP-SNN: Quantized and Pruned Spiking Neural Networks [10.74122828236122]
  スパイキングニューラルネットワーク(SNN)はスパイクを利用して情報をエンコードし、イベント駆動方式で運用する。 資源限定シナリオにおいて,高性能なSNNを効果的に展開することを目的とした,ハードウェアフレンドリで軽量なSNNを提案する。
  論文  参考訳（メタデータ） (2025-02-09T13:50:59Z)
• DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
  本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。 我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。 拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-11T06:31:03Z)
• Towards Leveraging AutoML for Sustainable Deep Learning: A Multi-Objective HPO Approach on Deep Shift Neural Networks [16.314030132923026]
  本研究では,資源消費を最小化しつつ,DSNNの性能を最大化するためのハイパーパラメータ最適化(HPO)の影響について検討する。 実験の結果,提案手法の有効性が示され,精度が80%以上,計算コストが低いモデルが得られた。
  論文  参考訳（メタデータ） (2024-04-02T14:03:37Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization [1.0235078178220354]
  本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。 われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-23T18:50:13Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
  我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。 トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
  論文  参考訳（メタデータ） (2021-08-20T11:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。