論文の概要: A Comparative Analysis on the Performance of Upper Confidence Bound Algorithms in Adaptive Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2604.24810v1
- Date: Mon, 27 Apr 2026 08:51:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-29 16:49:17.514615
- Title: A Comparative Analysis on the Performance of Upper Confidence Bound Algorithms in Adaptive Deep Neural Networks
- Title（参考訳）: 適応型ディープニューラルネットワークにおけるアッパー信頼境界アルゴリズムの性能比較
- Authors: Grigorios Papanikolaou, Ioannis Kontopoulos, Konstantinos Tserpes,
- Abstract要約: 我々は,Multi-Armed Bandit (MAB) フレームワークを用いた適応型ディープニューラルネットワーク (ADNN) を構築した。
我々は,ADNNの4つのアッパー信頼境界戦略,すなわち UCB-V, UCB-Tuned, UCB-Bayes, UCB-BwKを紹介する。
以上の結果から, UCB-Bayes が最高速に収束し, 全戦略がサブ線形累積後悔を達成できることが示唆された。
- 参考スコア（独自算出の注目度）: 0.23258754936493864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Edge computing environments impose strict constraints on energy consumption and latency, making the deployment of deep neural networks a significant challenge. Therefore, smart and adaptive inference strategies that dynamically balance computational cost or latency with predictive accuracy are critical in edge computing scenarios. In this work, we build on Adaptive Deep Neural Networks (ADNNs) that employ the Multi-Armed Bandit (MAB) framework. Current literature leverages the first version of the Upper Confidence Bound (UCB1) strategy to dynamically select the optimal confidence threshold, enabling efficient early exits without sacrificing accuracy. However, we introduce four additional Upper Confidence Bound strategies in ADNNs, namely UCB-V, UCB-Tuned, UCB-Bayes, and UCB-BwK, and perform, for the first time, a comparative study of these strategies with respect to trade-offs between accuracy, energy consumption, and latency. The proposed UCB strategies are employed on the ResNet and MobileViT neural networks, and are evaluated on the benchmark datasets of CIFAR-10, CIFAR-10.1, and CIFAR-100. Experimental results demonstrate that all strategies achieve sub-linear cumulative regret, with UCB-Bayes converging the fastest, followed by UCB-Tuned and UCB-V. Finally, UCB-V and UCB-Tuned dominate the Pareto Frontiers of accuracy-latency and accuracy-energy trade-offs.
- Abstract（参考訳）: エッジコンピューティング環境は、エネルギー消費とレイテンシに厳しい制約を課し、ディープニューラルネットワークの展開が大きな課題となる。
したがって、エッジコンピューティングのシナリオでは、計算コストや予測精度と遅延を動的にバランスさせるスマートで適応的な推論戦略が重要である。
本研究では,Multi-Armed Bandit (MAB) フレームワークを用いたadaptive Deep Neural Networks (ADNN) を構築した。
現在の文献では、アッパー信頼境界(UCB1)戦略の最初のバージョンを利用して、最適な信頼度閾値を動的に選択し、精度を犠牲にすることなく効率的な早期離脱を可能にする。
しかし、ADNNでは、UCB-V、UCB-Tuned、UCB-Bayes、UCB-BwKという4つのアッパー信頼境界戦略を導入し、これらの戦略を精度、エネルギー消費、遅延のトレードオフに関して初めて比較検討した。
提案した UCB 戦略は ResNet と MobileViT ニューラルネットワークに採用され,CIFAR-10,CIFAR-10.1,CIFAR-100 のベンチマークデータセットで評価される。
実験の結果, UCB-Bayes が収束し, UCB-Tuned と UCB-V が続いた。
最後に、CB-V と UCB-Tuned が精度レイテンシと精度エネルギーのトレードオフのパレートフロンティアを支配している。
関連論文リスト
- ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling [57.91760520589592]
ネットワークの深度を拡大することは、現代の基礎モデルの成功の背後にある中心的な要因である。
本稿では,ニューラルネットワークの奥行き,すなわち残差接続の既定メカニズムを再考する。
我々は、データから残余接続性をパラメータ化し、学習する原則的かつ軽量なフレームワークである、適応型ニューラルネットワーク再割り当て(ANCRe)を導入する。
論文 参考訳（メタデータ） (2026-02-09T18:54:18Z) - Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用せずに機能するディープニューラルネットワークのユニット・レイヤ・プルーニングとレイヤ・プルーニングを組み合わせた新しいアルゴリズムを提案する。
本アルゴリズムは, 学習精度とプルーニングレベルを最適に交換し, ユニットプルーニングと計算量とパラメータ複雑性のバランスをとる。
提案アルゴリズムは,ネットワークに対応する最適化問題の解に収束することを示す。
論文 参考訳（メタデータ） (2024-11-14T02:00:22Z) - Bayesian Optimization for Hyperparameters Tuning in Neural Networks [0.0]
ベイズ最適化 (Bayesian Optimization) は、連続的な入力と限られた評価予算を持つブラックボックス関数に適した微分自由大域最適化手法である。
本研究では,畳み込みニューラルネットワーク(CNN)の強化を目的としたニューラルネットワークのハイパーパラメータチューニングにおけるBOの適用について検討する。
実験結果から,BOは探索と利用のバランスを効果的に保ち,CNNアーキテクチャの最適設定に向けて急速に収束することが明らかとなった。
このアプローチは、ニューラルネットワークチューニングの自動化におけるBOの可能性を強調し、機械学習パイプラインの精度と計算効率の改善に寄与する。
論文 参考訳（メタデータ） (2024-10-29T09:23:24Z) - Early Detection of Network Service Degradation: An Intra-Flow Approach [0.0]
本研究では,早期のフロー特性を利用して,コンピュータネットワークにおけるサービス劣化(SD)を予測する新しい手法を提案する。
我々のアプローチは、ネットワークフローの観測可能な(O)セグメント、特にパケット間時間(PIAT)の分析に焦点を当てている。
我々は,10個の遅延サンプルの最適O/NO分割閾値を推定し,予測精度と資源利用量のバランスをとる。
論文 参考訳（メタデータ） (2024-07-09T08:05:14Z) - FOBNN: Fast Oblivious Inference via Binarized Neural Networks [13.635520737380103]
本稿では,二元化ニューラルネットワークを用いた高速なOblivious推論フレームワークであるFOBNNを提案する。
我々はビット長境界(BLB)アルゴリズムを開発し,ビット表現の最小化と冗長計算の低減を図る。
また、リンク最適化と構造探索により、二項化ニューラルネットワーク構造も強化する。
論文 参考訳（メタデータ） (2024-05-06T03:12:36Z) - Provably Efficient UCB-type Algorithms For Learning Predictive State
Representations [55.00359893021461]
逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である
本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。
PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
論文 参考訳（メタデータ） (2023-07-01T18:35:21Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:50:15Z) - Meta-Reinforcement Learning for Trajectory Design in Wireless UAV
Networks [151.65541208130995]
ドローン基地局(DBS)は、要求が動的で予測不可能な地上ユーザーへのアップリンク接続を提供するために派遣される。
この場合、DBSの軌道は動的ユーザアクセス要求を満たすように適応的に調整されなければならない。
新たな環境に遭遇したDBSの軌道に適応するために,メタラーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-05-25T20:43:59Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。