論文の概要: Anole: Adapting Diverse Compressed Models For Cross-Scene Prediction On Mobile Devices

• arxiv url: http://arxiv.org/abs/2407.03331v1
• Date: Thu, 9 May 2024 12:06:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 22:18:55.475228
• Title: Anole: Adapting Diverse Compressed Models For Cross-Scene Prediction On Mobile Devices
• Title（参考訳）: Anole: モバイルデバイス上でのクロスシーン予測に、さまざまな圧縮モデルを適用する
• Authors: Yunzhe Li, Hongzi Zhu, Zhuohong Deng, Yunlong Cheng, Liang Zhang, Shan Chang, Minyi Guo,
• Abstract要約: Anoleは、モバイルデバイス上のローカルDNNモデル推論に対処するための軽量なスキームである。 我々は、さまざまなタイプのモバイルデバイスにAnoleを実装し、無人航空機(UAV)に基づく広範囲なトレース駆動および実世界の実験を行う。
• 参考スコア（独自算出の注目度）: 17.542012577533015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emerging Artificial Intelligence of Things (AIoT) applications desire online prediction using deep neural network (DNN) models on mobile devices. However, due to the movement of devices, unfamiliar test samples constantly appear, significantly affecting the prediction accuracy of a pre-trained DNN. In addition, unstable network connection calls for local model inference. In this paper, we propose a light-weight scheme, called Anole, to cope with the local DNN model inference on mobile devices. The core idea of Anole is to first establish an army of compact DNN models, and then adaptively select the model fitting the current test sample best for online inference. The key is to automatically identify model-friendly scenes for training scene-specific DNN models. To this end, we design a weakly-supervised scene representation learning algorithm by combining both human heuristics and feature similarity in separating scenes. Moreover, we further train a model classifier to predict the best-fit scene-specific DNN model for each test sample. We implement Anole on different types of mobile devices and conduct extensive trace-driven and real-world experiments based on unmanned aerial vehicles (UAVs). The results demonstrate that Anole outwits the method of using a versatile large DNN in terms of prediction accuracy (4.5% higher), response time (33.1% faster) and power consumption (45.1% lower).
• Abstract（参考訳）: Emerging Artificial Intelligence of Things (AIoT)アプリケーションは、モバイルデバイス上でのディープニューラルネットワーク(DNN)モデルを使用したオンライン予測を望んでいる。 しかし、装置の移動により、不慣れなサンプルが常に現れ、事前訓練されたDNNの予測精度に大きな影響を及ぼす。 さらに、不安定なネットワーク接続は局所モデル推論を要求する。 本稿では,モバイル端末上でのローカルDNNモデル推論に対処する軽量方式であるAnoleを提案する。 Anoleの中核となる考え方は、まずコンパクトなDNNモデル群を確立し、次にオンライン推論に最適な現在のテストサンプルに適合するモデルを適応的に選択することである。 重要なのは、シーン固有のDNNモデルをトレーニングするためのモデルフレンドリーなシーンを自動的に識別することだ。 この目的のために,人間のヒューリスティックとシーン分離における特徴的類似性を両立させて,弱教師付きシーン表現学習アルゴリズムを設計する。 さらに、テストサンプル毎に最適なシーン特化DNNモデルを予測するために、モデル分類器を訓練する。 我々は、さまざまなタイプのモバイルデバイスにAnoleを実装し、無人航空機(UAV)に基づく広範囲なトレース駆動および実世界の実験を行う。 その結果、Anoleは予測精度(4.5%高い)、応答時間(33.1%速い)、消費電力(45.1%低い)で多用途の大規模DNNを使用する方法よりも優れていることが示された。

関連論文リスト

• Inferring Data Preconditions from Deep Learning Models for Trustworthy Prediction in Deployment [25.527665632625627]
  デプロイ中に見つからないデータを使って、モデルの予測の信頼性を判断することが重要です。 従来のソフトウェアを特定し検証する既存の方法は、このタスクには不十分である。 本稿では、ニューラルネットワーク計算から導出されるルールを用いて、データ前提条件を推論する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T03:47:18Z)
• CDMPP: A Device-Model Agnostic Framework for Latency Prediction of Tensor Programs [11.025071880642974]
  Deep Neural Networks (DNN)は、幅広い機械学習アプリケーションで優れたパフォーマンスを示している。 特定のデバイス上でDNNモデルやテンソルプログラムを実行するレイテンシを知ることは、さまざまなタスクで有用である。 クロスモデルおよびクロスデバイス予測のための効率的なテンソルプログラム遅延予測フレームワークCDMPPを提案する。
  論文  参考訳（メタデータ） (2023-11-16T09:05:52Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• PerfSAGE: Generalized Inference Performance Predictor for Arbitrary Deep Learning Models on Edge Devices [8.272409756443539]
  本稿では、任意のDNNliteグラフ上の推論遅延、エネルギー、メモリフットプリントを予測する新しいグラフニューラルネットワークであるPerfSAGEについて述べる。 このデータセットを用いて、PerfSAGEをトレーニングし、すべてのターゲットとモデル検索空間にわたって平均絶対パーセンテージ誤差の5%で最先端の予測精度を示す実験結果を提供する。
  論文  参考訳（メタデータ） (2023-01-26T08:59:15Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• Omni-sparsity DNN: Fast Sparsity Optimization for On-Device Streaming E2E ASR via Supernet [24.62661549442265]
  我々は,Omni-sparsity DNNを提案する。そこでは,1つのニューラルネットワークを切断して,広範囲のモデルサイズに対して最適化されたモデルを生成する。 以上の結果から,LibriSpeechのトレーニング時間とリソースの保存時間は,個別のプルーニングモデルと比較すると,類似あるいは精度がよいことがわかった。
  論文  参考訳（メタデータ） (2021-10-15T20:28:27Z)
• DAAIN: Detection of Anomalous and Adversarial Input using Normalizing Flows [52.31831255787147]
  我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。 本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。 当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2021-05-30T22:07:13Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。