論文の概要: Efficient Model Adaptation for Continual Learning at the Edge
- arxiv url: http://arxiv.org/abs/2308.02084v2
- Date: Fri, 13 Oct 2023 19:02:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 22:56:57.816280
- Title: Efficient Model Adaptation for Continual Learning at the Edge
- Title（参考訳）: エッジにおける連続学習のための効率的なモデル適応
- Authors: Zachary A. Daniels, Jun Hu, Michael Lomnitz, Phil Miller, Aswin
Raghavan, Joe Zhang, Michael Piacentino, David Zhang
- Abstract要約: ほとんどの機械学習(ML)システムは、トレーニングとデプロイメントの間、定常的で一致したデータ分散を前提としている。
データ分布は、環境要因、センサー特性、タスク・オブ・関心などの変化により、時間とともに変化することが多い。
本稿では,ドメインシフト下での効率的な連続学習のためのアダプタ・リコンフィグレータ(EAR)フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 15.334881190102895
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Most machine learning (ML) systems assume stationary and matching data
distributions during training and deployment. This is often a false assumption.
When ML models are deployed on real devices, data distributions often shift
over time due to changes in environmental factors, sensor characteristics, and
task-of-interest. While it is possible to have a human-in-the-loop to monitor
for distribution shifts and engineer new architectures in response to these
shifts, such a setup is not cost-effective. Instead, non-stationary automated
ML (AutoML) models are needed. This paper presents the
Encoder-Adaptor-Reconfigurator (EAR) framework for efficient continual learning
under domain shifts. The EAR framework uses a fixed deep neural network (DNN)
feature encoder and trains shallow networks on top of the encoder to handle
novel data. The EAR framework is capable of 1) detecting when new data is
out-of-distribution (OOD) by combining DNNs with hyperdimensional computing
(HDC), 2) identifying low-parameter neural adaptors to adapt the model to the
OOD data using zero-shot neural architecture search (ZS-NAS), and 3) minimizing
catastrophic forgetting on previous tasks by progressively growing the neural
architecture as needed and dynamically routing data through the appropriate
adaptors and reconfigurators for handling domain-incremental and
class-incremental continual learning. We systematically evaluate our approach
on several benchmark datasets for domain adaptation and demonstrate strong
performance compared to state-of-the-art algorithms for OOD detection and
few-/zero-shot NAS.
- Abstract（参考訳）: ほとんどの機械学習(ml)システムは、トレーニングとデプロイメントの間、静止したデータ分散を想定している。
これはしばしば誤った仮定である。
mlモデルが実際のデバイスにデプロイされる場合、環境要因の変化、センサ特性、関心事などの理由から、データ分布が時間とともに変化することが多い。
分散シフトを監視するためのヒューマン・イン・ザ・ループを持つことができ、これらのシフトに応じて新しいアーキテクチャを設計できるが、そのようなセットアップは費用対効果がない。
代わりに、非定常自動ML(AutoML)モデルが必要である。
本稿では,ドメインシフト下での効率的な連続学習のためのEncoder-Adaptor-Reconfigurator(EAR)フレームワークを提案する。
EARフレームワークでは、固定ディープニューラルネットワーク(DNN)機能エンコーダを使用して、エンコーダ上に浅いネットワークをトレーニングして、新たなデータを処理する。
EARフレームワークは使える
1)DNNと超次元計算(HDC)を組み合わせることで、新しいデータが配布外(OOD)になったときの検出
2) zero-shot neural architecture search (zs-nas) を用いたoodデータへのモデル適応のための低パラメータニューラルネットワークの同定
3) 従来のタスクに対する破滅的な忘れを最小化するために, 必要に応じて神経アーキテクチャを段階的に成長させ, ドメイン・インクリメンタル・クラス・インクリメンタル・インクリメンタル・ラーニングを扱うための適切な適応器と再構成器を通じてデータを動的にルーティングする。
我々は,いくつかのベンチマークデータセットにおける提案手法を体系的に評価し,ood検出のための最先端アルゴリズムや数/ゼロショットnasと比較し,高い性能を示す。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Toward Efficient Convolutional Neural Networks With Structured Ternary Patterns [1.1965844936801797]
畳み込みニューラルネットワーク(ConvNets)は、ローカルデバイスリソースに厳しい要求を課す。
本稿では,静的畳み込みフィルタを用いて効率的なConvNetアーキテクチャの設計を行う。
論文 参考訳（メタデータ） (2024-07-20T10:18:42Z) - DOMINO: Domain-invariant Hyperdimensional Classification for
Multi-Sensor Time Series Data [14.434647668734184]
ノイズの多いマルチセンサ時系列データにおける分散シフト問題に対処する新しいHDC学習フレームワークであるDOMINOを提案する。
DOMINOは最先端(SOTA)DNNベースのドメイン一般化技術よりも平均2.04%高い精度で達成し、16.34倍高速なトレーニングと2.89倍高速な推論を提供する。
論文 参考訳（メタデータ） (2023-08-07T04:44:12Z) - Online Evolutionary Neural Architecture Search for Multivariate
Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。
ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。
その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文 参考訳（メタデータ） (2023-02-20T22:25:47Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳（メタデータ） (2022-03-29T21:18:47Z) - Transformer-Based Behavioral Representation Learning Enables Transfer
Learning for Mobile Sensing in Small Datasets [4.276883061502341]
時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。
このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
論文 参考訳（メタデータ） (2021-07-09T22:26:50Z) - Contextual HyperNetworks for Novel Feature Adaptation [43.49619456740745]
Contextual HyperNetwork(CHN)は、ベースモデルを新機能に拡張するためのパラメータを生成する。
予測時、CHNはニューラルネットワークを通る単一のフォワードパスのみを必要とし、大幅なスピードアップをもたらす。
本システムでは,既存のインプテーションやメタラーニングベースラインよりも,新しい特徴のマイズショット学習性能が向上することを示す。
論文 参考訳（メタデータ） (2021-04-12T23:19:49Z) - TELESTO: A Graph Neural Network Model for Anomaly Classification in
Cloud Services [77.454688257702]
機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。
1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。
与えられたデータの次元変化に不変な手法を提案する。
論文 参考訳（メタデータ） (2021-02-25T14:24:49Z) - Wireless Localisation in WiFi using Novel Deep Architectures [4.541069830146568]
本稿では,コモディティ・チップセットと標準チャネル・サウンドによるWiFi機器の屋内位置推定について検討する。
本稿では、異なるアンテナで受信されたWiFiサブキャリアに対応するチャネル状態情報から特徴を抽出する、新しい浅層ニューラルネットワーク(SNN)を提案する。
論文 参考訳（メタデータ） (2020-10-16T22:48:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。