Fugu-MT 論文翻訳(概要): Online Algorithms for Hierarchical Inference in Deep Learning applications at the Edge

論文の概要: Online Algorithms for Hierarchical Inference in Deep Learning applications at the Edge

arxiv url: http://arxiv.org/abs/2304.00891v1
Date: Mon, 3 Apr 2023 11:26:56 GMT
ステータス: 処理完了
システム内更新日: 2023-04-04 15:48:35.137145
Title: Online Algorithms for Hierarchical Inference in Deep Learning applications at the Edge
Title（参考訳）: エッジでのディープラーニングアプリケーションにおける階層推論のためのオンラインアルゴリズム
Authors: Vishnu Narayanan Moothedath, Jaya Prakash Champati, James Gross
Abstract要約: 汎用分類アプリケーションに小型MLモデル(S-ML)を組み込んだエッジデバイスと,大規模MLモデル(L-ML)をホストするエッジサーバを考える。 S-MLの推測精度はL-MLよりも低いので、すべてのデータサンプルをESにオフロードすると高い推測精度が得られる。本稿では,S-ML推論の正確性を予測するためのオンラインメタ学習フレームワークを提案する。
参考スコア（独自算出の注目度）: 22.57250914938744
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We consider a resource-constrained Edge Device (ED) embedded with a small-size ML model (S-ML) for a generic classification application, and an Edge Server (ES) that hosts a large-size ML model (L-ML). Since the inference accuracy of S-ML is lower than that of the L-ML, offloading all the data samples to the ES results in high inference accuracy, but it defeats the purpose of embedding S-ML on the ED and deprives the benefits of reduced latency, bandwidth savings, and energy efficiency of doing local inference. To get the best out of both worlds, i.e., the benefits of doing inference on the ED and the benefits of doing inference on ES, we explore the idea of Hierarchical Inference (HI), wherein S-ML inference is only accepted when it is correct, otherwise the data sample is offloaded for L-ML inference. However, the ideal implementation of HI is infeasible as the correctness of the S-ML inference is not known to the ED. We thus propose an online meta-learning framework to predict the correctness of the S-ML inference. The resulting online learning problem turns out to be a Prediction with Expert Advice (PEA) problem with continuous expert space. We consider the full feedback scenario, where the ED receives feedback on the correctness of the S-ML once it accepts the inference, and the no-local feedback scenario, where the ED does not receive the ground truth for the classification, and propose the HIL-F and HIL-N algorithms and prove a regret bound that is sublinear with the number of data samples. We evaluate and benchmark the performance of the proposed algorithms for image classification applications using four datasets, namely, Imagenette, Imagewoof, MNIST, and CIFAR-10.
Abstract（参考訳）: 本稿では,リソース制約のあるエッジデバイス(ED)に,汎用分類アプリケーション用の小型MLモデル(S-ML)と,大規模MLモデル(L-ML)をホストするエッジサーバ(ES)について検討する。 S-MLの推論精度はL-MLよりも低いため、すべてのデータサンプルをESにオフロードすると高い推測精度が得られるが、EDにS-MLを埋め込むことの目的を損なうとともに、遅延低減、帯域幅の節約、ローカル推論のエネルギー効率を損なう。 S-ML推論が正しい場合にのみ受け入れられる階層推論(hierarchical Inference, HI)の考え方を検討する。そうでなければ、データサンプルはL-ML推論のためにオフロードされる。しかし、HIの理想的な実装は、S-ML推論の正しさがEDに知られていないため、実現不可能である。そこで我々は,S-ML推論の正確性を予測するオンラインメタ学習フレームワークを提案する。その結果、オンライン学習の問題は、エキスパートアドバイザによる予測(Expert Advice:PEA)問題であることがわかった。我々は、edが推論を受け入れると、s-mlの正しさに関するフィードバックを受信する全フィードバックシナリオと、edが分類の根拠となる真理を受信しない非局所フィードバックシナリオを検討し、hil-f と hil-n アルゴリズムを提案し、データサンプル数に準ずる後悔の限界を証明する。我々は,画像分類用アルゴリズムであるImagenette, Imagewoof, MNIST, CIFAR-10の4つのデータセットを用いて,提案アルゴリズムの性能評価と評価を行った。

関連論文リスト

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
論文参考訳（メタデータ） (2024-10-11T17:01:43Z)
R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文参考訳（メタデータ） (2024-07-16T12:21:29Z)
Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
論文参考訳（メタデータ） (2023-05-22T15:36:06Z)
The Case for Hierarchical Deep Learning Inference at the Network Edge [17.136494858619976]
階層推論(Hierarchical Inference、HI)は、エッジで分散ディープラーニング推論を実行するための新しいアプローチである。本稿では,機械故障検出と画像分類のためのHIの実装の可能性を示す。
論文参考訳（メタデータ） (2023-04-23T22:42:06Z)
An Adaptive Plug-and-Play Network for Few-Shot Learning [12.023266104119289]
少数のサンプルから学んだ後、新しいサンプルを分類するモデルが必要である。ディープネットワークと複雑なメトリクスはオーバーフィッティングを引き起こす傾向があり、パフォーマンスをさらに改善することは困難である。プラグアンドプレイ型モデル適応型リサイザ (MAR) とアダプティブ類似度測定器 (ASM) をその他の損失なく提案する。
論文参考訳（メタデータ） (2023-02-18T13:25:04Z)
ezDPS: An Efficient and Zero-Knowledge Machine Learning Inference Pipeline [2.0813318162800707]
我々は,新しい効率的かつゼロ知識の機械学習推論スキームであるezDPSを提案する。 ezDPSはzkMLパイプラインで、データを複数のステージで高精度に処理する。 ezDPSは,全測定値における一般的な回路ベース手法よりも1～3桁効率が高いことを示す。
論文参考訳（メタデータ） (2022-12-11T06:47:28Z)
Expert-Calibrated Learning for Online Optimization with Switching Costs [28.737193318136725]
スイッチングコストによるオンライン凸最適化について検討する。機械学習(ML)ベースのパワーを取り入れることで、MLに強化されたオンラインアルゴリズムが最先端として現れている。本稿では,エキスパートキャリブレータを明示的に考慮し,MLに基づくアルゴリズムを訓練するEC-L2Oを提案する。
論文参考訳（メタデータ） (2022-04-18T21:54:33Z)
Adaptive neighborhood Metric learning [184.95321334661898]
適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。 ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
論文参考訳（メタデータ） (2022-01-20T17:26:37Z)
Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-09T08:47:58Z)
OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文参考訳（メタデータ） (2020-04-20T02:41:01Z)
Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
論文参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。