Fugu-MT 論文翻訳(概要): Online Algorithms for Hierarchical Inference in Deep Learning applications at the Edge

論文の概要: Online Algorithms for Hierarchical Inference in Deep Learning applications at the Edge

arxiv url: http://arxiv.org/abs/2304.00891v2
Date: Thu, 15 Feb 2024 15:56:37 GMT
ステータス: 処理完了
システム内更新日: 2024-02-16 21:29:08.830996
Title: Online Algorithms for Hierarchical Inference in Deep Learning applications at the Edge
Title（参考訳）: エッジでのディープラーニングアプリケーションにおける階層推論のためのオンラインアルゴリズム
Authors: Vishnu Narayanan Moothedath, Jaya Prakash Champati, James Gross
Abstract要約: 資源制約のあるエッジデバイス (ED) に, 汎用分類アプリケーション用の小型MLモデル (S-ML) と大規模MLモデル (L-ML) をホストするエッジサーバ (ES) を組み込む。 S-MLの推測精度はL-MLよりも低いため、すべてのデータサンプルをESにオフロードすると高い推測精度が得られるが、EDにS-MLを埋め込むことの目的を損なう。 EDがS-ML推論の正確性を予測するために利用できるオンラインメタ学習フレームワークを提案する。
参考スコア（独自算出の注目度）: 16.747830651006577
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider a resource-constrained Edge Device (ED), such as an IoT sensor or a microcontroller unit, embedded with a small-size ML model (S-ML) for a generic classification application and an Edge Server (ES) that hosts a large-size ML model (L-ML). Since the inference accuracy of S-ML is lower than that of the L-ML, offloading all the data samples to the ES results in high inference accuracy, but it defeats the purpose of embedding S-ML on the ED and deprives the benefits of reduced latency, bandwidth savings, and energy efficiency of doing local inference. In order to get the best out of both worlds, i.e., the benefits of doing inference on the ED and the benefits of doing inference on ES, we explore the idea of Hierarchical Inference (HI), wherein S-ML inference is only accepted when it is correct, otherwise the data sample is offloaded for L-ML inference. However, the ideal implementation of HI is infeasible as the correctness of the S-ML inference is not known to the ED. We propose an online meta-learning framework that the ED can use to predict the correctness of the S-ML inference. In particular, we propose to use the maximum softmax value output by S-ML for a data sample and decide whether to offload it or not. The resulting online learning problem turns out to be a Prediction with Expert Advice (PEA) problem with continuous expert space. We propose two different algorithms and prove sublinear regret bounds for them without any assumption on the smoothness of the loss function. We evaluate and benchmark the performance of the proposed algorithms for image classification application using four datasets, namely, Imagenette and Imagewoof, MNIST, and CIFAR-10.
Abstract（参考訳）: 汎用分類アプリケーション用の小型MLモデル(S-ML)と大規模MLモデル(L-ML)をホストするエッジサーバ(ES)を組み込んだ,IoTセンサやマイクロコントローラユニットなどのリソース制約エッジデバイス(ED)について検討する。 S-MLの推論精度はL-MLよりも低いため、すべてのデータサンプルをESにオフロードすると高い推測精度が得られるが、EDにS-MLを埋め込むことの目的を損なうとともに、遅延低減、帯域幅の節約、ローカル推論のエネルギー効率を損なう。両方の世界、すなわち、edで推論を行うことの利点と、esで推論することの利点を最大限に活用するために、階層的推論(hi)のアイデアを検討し、s-ml推論は正しい場合にのみ受け入れられるが、そうでない場合はデータサンプルがl-ml推論のためにオフロードされる。しかし、HIの理想的な実装は、S-ML推論の正しさがEDに知られていないため、実現不可能である。 EDがS-ML推論の正確性を予測するために利用できるオンラインメタ学習フレームワークを提案する。具体的には、S-MLが出力する最大ソフトマックス値をデータサンプルに使用し、オフロードするかどうかを決定する。その結果、オンライン学習の問題は、エキスパートアドバイザによる予測(Expert Advice:PEA)問題であることがわかった。損失関数の滑らかさを仮定することなく, 2つの異なるアルゴリズムを提案し, サブ線形後悔境界を証明した。我々は,画像分類用アルゴリズムであるImagenetteとImagewoof,MNIST,CIFAR-10の4つのデータセットを用いて,提案アルゴリズムの性能評価とベンチマークを行った。

関連論文リスト

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
論文参考訳（メタデータ） (2024-10-11T17:01:43Z)
R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文参考訳（メタデータ） (2024-07-16T12:21:29Z)
Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
論文参考訳（メタデータ） (2023-05-22T15:36:06Z)
The Case for Hierarchical Deep Learning Inference at the Network Edge [17.136494858619976]
階層推論(Hierarchical Inference、HI)は、エッジで分散ディープラーニング推論を実行するための新しいアプローチである。本稿では,機械故障検出と画像分類のためのHIの実装の可能性を示す。
論文参考訳（メタデータ） (2023-04-23T22:42:06Z)
An Adaptive Plug-and-Play Network for Few-Shot Learning [12.023266104119289]
少数のサンプルから学んだ後、新しいサンプルを分類するモデルが必要である。ディープネットワークと複雑なメトリクスはオーバーフィッティングを引き起こす傾向があり、パフォーマンスをさらに改善することは困難である。プラグアンドプレイ型モデル適応型リサイザ (MAR) とアダプティブ類似度測定器 (ASM) をその他の損失なく提案する。
論文参考訳（メタデータ） (2023-02-18T13:25:04Z)
ezDPS: An Efficient and Zero-Knowledge Machine Learning Inference Pipeline [2.0813318162800707]
我々は,新しい効率的かつゼロ知識の機械学習推論スキームであるezDPSを提案する。 ezDPSはzkMLパイプラインで、データを複数のステージで高精度に処理する。 ezDPSは,全測定値における一般的な回路ベース手法よりも1～3桁効率が高いことを示す。
論文参考訳（メタデータ） (2022-12-11T06:47:28Z)
Expert-Calibrated Learning for Online Optimization with Switching Costs [28.737193318136725]
スイッチングコストによるオンライン凸最適化について検討する。機械学習(ML)ベースのパワーを取り入れることで、MLに強化されたオンラインアルゴリズムが最先端として現れている。本稿では,エキスパートキャリブレータを明示的に考慮し,MLに基づくアルゴリズムを訓練するEC-L2Oを提案する。
論文参考訳（メタデータ） (2022-04-18T21:54:33Z)
Adaptive neighborhood Metric learning [184.95321334661898]
適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。 ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
論文参考訳（メタデータ） (2022-01-20T17:26:37Z)
Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-09T08:47:58Z)
OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文参考訳（メタデータ） (2020-04-20T02:41:01Z)
Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
論文参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。