論文の概要: Online Algorithms for Hierarchical Inference in Deep Learning
applications at the Edge
- arxiv url: http://arxiv.org/abs/2304.00891v1
- Date: Mon, 3 Apr 2023 11:26:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 15:48:35.137145
- Title: Online Algorithms for Hierarchical Inference in Deep Learning
applications at the Edge
- Title(参考訳): エッジでのディープラーニングアプリケーションにおける階層推論のためのオンラインアルゴリズム
- Authors: Vishnu Narayanan Moothedath, Jaya Prakash Champati, James Gross
- Abstract要約: 汎用分類アプリケーションに小型MLモデル(S-ML)を組み込んだエッジデバイスと,大規模MLモデル(L-ML)をホストするエッジサーバを考える。
S-MLの推測精度はL-MLよりも低いので、すべてのデータサンプルをESにオフロードすると高い推測精度が得られる。
本稿では,S-ML推論の正確性を予測するためのオンラインメタ学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 22.57250914938744
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We consider a resource-constrained Edge Device (ED) embedded with a
small-size ML model (S-ML) for a generic classification application, and an
Edge Server (ES) that hosts a large-size ML model (L-ML). Since the inference
accuracy of S-ML is lower than that of the L-ML, offloading all the data
samples to the ES results in high inference accuracy, but it defeats the
purpose of embedding S-ML on the ED and deprives the benefits of reduced
latency, bandwidth savings, and energy efficiency of doing local inference. To
get the best out of both worlds, i.e., the benefits of doing inference on the
ED and the benefits of doing inference on ES, we explore the idea of
Hierarchical Inference (HI), wherein S-ML inference is only accepted when it is
correct, otherwise the data sample is offloaded for L-ML inference. However,
the ideal implementation of HI is infeasible as the correctness of the S-ML
inference is not known to the ED. We thus propose an online meta-learning
framework to predict the correctness of the S-ML inference. The resulting
online learning problem turns out to be a Prediction with Expert Advice (PEA)
problem with continuous expert space. We consider the full feedback scenario,
where the ED receives feedback on the correctness of the S-ML once it accepts
the inference, and the no-local feedback scenario, where the ED does not
receive the ground truth for the classification, and propose the HIL-F and
HIL-N algorithms and prove a regret bound that is sublinear with the number of
data samples. We evaluate and benchmark the performance of the proposed
algorithms for image classification applications using four datasets, namely,
Imagenette, Imagewoof, MNIST, and CIFAR-10.
- Abstract(参考訳): 本稿では,リソース制約のあるエッジデバイス(ED)に,汎用分類アプリケーション用の小型MLモデル(S-ML)と,大規模MLモデル(L-ML)をホストするエッジサーバ(ES)について検討する。
S-MLの推論精度はL-MLよりも低いため、すべてのデータサンプルをESにオフロードすると高い推測精度が得られるが、EDにS-MLを埋め込むことの目的を損なうとともに、遅延低減、帯域幅の節約、ローカル推論のエネルギー効率を損なう。
S-ML推論が正しい場合にのみ受け入れられる階層推論(hierarchical Inference, HI)の考え方を検討する。そうでなければ、データサンプルはL-ML推論のためにオフロードされる。
しかし、HIの理想的な実装は、S-ML推論の正しさがEDに知られていないため、実現不可能である。
そこで我々は,S-ML推論の正確性を予測するオンラインメタ学習フレームワークを提案する。
その結果、オンライン学習の問題は、エキスパートアドバイザによる予測(Expert Advice:PEA)問題であることがわかった。
我々は、edが推論を受け入れると、s-mlの正しさに関するフィードバックを受信する全フィードバックシナリオと、edが分類の根拠となる真理を受信しない非局所フィードバックシナリオを検討し、hil-f と hil-n アルゴリズムを提案し、データサンプル数に準ずる後悔の限界を証明する。
我々は,画像分類用アルゴリズムであるImagenette, Imagewoof, MNIST, CIFAR-10の4つのデータセットを用いて,提案アルゴリズムの性能評価と評価を行った。
関連論文リスト
- Revisiting Zeroth-Order Optimization for Memory-Efficient LLM
Fine-Tuning: A Benchmark [170.47660885570463]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳(メタデータ) (2024-02-18T14:08:48Z) - LLM Performance Predictors are good initializers for Architecture Search [30.862329031678232]
大規模言語モデル(LLM)は、幅広いNLPタスクの解決において重要な要素となっている。
本研究では,LLMを用いて性能予測器(PP)を構築する新しいユースケースについて検討する。
PPプロンプト (LLM-PP) を用いた GPT-4 は,SOTA との平均絶対誤差でアーキテクチャの性能を予測できることを示す。
また、HS-NASはベンチマーク間でSOTA NASと非常によく似た性能を示し、検索時間を約50%削減し、場合によってはレイテンシ、GFLOP、モデルサイズを改善している。
論文 参考訳(メタデータ) (2023-10-25T15:34:30Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM
Inference Pipeline [22.08897444328099]
大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。
本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:36:06Z) - The Case for Hierarchical Deep Learning Inference at the Network Edge [17.136494858619976]
階層推論(Hierarchical Inference、HI)は、エッジで分散ディープラーニング推論を実行するための新しいアプローチである。
本稿では,機械故障検出と画像分類のためのHIの実装の可能性を示す。
論文 参考訳(メタデータ) (2023-04-23T22:42:06Z) - An Adaptive Plug-and-Play Network for Few-Shot Learning [12.023266104119289]
少数のサンプルから学んだ後、新しいサンプルを分類するモデルが必要である。
ディープネットワークと複雑なメトリクスはオーバーフィッティングを引き起こす傾向があり、パフォーマンスをさらに改善することは困難である。
プラグアンドプレイ型モデル適応型リサイザ (MAR) とアダプティブ類似度測定器 (ASM) をその他の損失なく提案する。
論文 参考訳(メタデータ) (2023-02-18T13:25:04Z) - ezDPS: An Efficient and Zero-Knowledge Machine Learning Inference
Pipeline [2.0813318162800707]
我々は,新しい効率的かつゼロ知識の機械学習推論スキームであるezDPSを提案する。
ezDPSはzkMLパイプラインで、データを複数のステージで高精度に処理する。
ezDPSは,全測定値における一般的な回路ベース手法よりも1~3桁効率が高いことを示す。
論文 参考訳(メタデータ) (2022-12-11T06:47:28Z) - Adaptive neighborhood Metric learning [184.95321334661898]
適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。
ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。
本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
論文 参考訳(メタデータ) (2022-01-20T17:26:37Z) - Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and
Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。
既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。
本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-09T08:47:58Z) - OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax
Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。
そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。
実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-04-20T02:41:01Z) - Localized Debiased Machine Learning: Efficient Inference on Quantile
Treatment Effects and Beyond [69.83813153444115]
因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。
Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。
本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
論文 参考訳(メタデータ) (2019-12-30T14:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。