論文の概要: Lifelong Intelligence Beyond the Edge using Hyperdimensional Computing

• arxiv url: http://arxiv.org/abs/2403.04759v1
• Date: Thu, 7 Mar 2024 18:56:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 12:57:01.397935
• Title: Lifelong Intelligence Beyond the Edge using Hyperdimensional Computing
• Title（参考訳）: 超次元計算を用いたエッジを越えた生涯インテリジェンス
• Authors: Xiaofan Yu, Anthony Thomas, Ivannia Gomez Moreno, Louis Gutierrez, Tajana Rosing
• Abstract要約: LifeHDは、監視が限定された一般的なIoTアプリケーションのための、デバイス上での生涯学習システムである。 LifeHDは、最先端のNNベースの非教師なし学習ベースラインと比較して最大74.8%改善し、34.3倍のエネルギー効率を実現している。
• 参考スコア（独自算出の注目度）: 7.837924033153
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: On-device learning has emerged as a prevailing trend that avoids the slow response time and costly communication of cloud-based learning. The ability to learn continuously and indefinitely in a changing environment, and with resource constraints, is critical for real sensor deployments. However, existing designs are inadequate for practical scenarios with (i) streaming data input, (ii) lack of supervision and (iii) limited on-board resources. In this paper, we design and deploy the first on-device lifelong learning system called LifeHD for general IoT applications with limited supervision. LifeHD is designed based on a novel neurally-inspired and lightweight learning paradigm called Hyperdimensional Computing (HDC). We utilize a two-tier associative memory organization to intelligently store and manage high-dimensional, low-precision vectors, which represent the historical patterns as cluster centroids. We additionally propose two variants of LifeHD to cope with scarce labeled inputs and power constraints. We implement LifeHD on off-the-shelf edge platforms and perform extensive evaluations across three scenarios. Our measurements show that LifeHD improves the unsupervised clustering accuracy by up to 74.8% compared to the state-of-the-art NN-based unsupervised lifelong learning baselines with as much as 34.3x better energy efficiency. Our code is available at https://github.com/Orienfish/LifeHD.
• Abstract（参考訳）: デバイス上での学習は、クラウドベースの学習の遅い応答時間とコストのかかるコミュニケーションを避ける、一般的なトレンドとして現れています。 変化する環境で継続的に無期限に学習する能力、そしてリソースの制約によって、実際のセンサー展開には不可欠である。 しかし、既存の設計は実用的なシナリオには不十分である。 (i)ストリーミングデータ入力。 (ii)監督の欠如及び (iii)限られた資源。 本稿では,一般IoTアプリケーション向けに,LifeHDと呼ばれるデバイス上での生涯学習システムの設計と展開を行う。 LifeHDは、Hyperdimensional Computing (HDC)と呼ばれる、ニューラルにインスパイアされた軽量な学習パラダイムに基づいて設計されている。 我々は2階層の連想記憶機構を用いて、歴史的パターンをクラスタセントロイドとして表現した高次元の低精度ベクトルをインテリジェントに保存・管理する。 また,低ラベル入力と電力制約に対処する2種類のLifeHDを提案する。 市販のエッジプラットフォーム上でLifeHDを実装し、3つのシナリオで広範な評価を行う。 我々の測定では、LifeHDは、最先端のNNベースで、34.3倍のエネルギー効率で、教師なしクラスタリングの精度を最大74.8%向上させる。 私たちのコードはhttps://github.com/orienfish/lifehdで利用可能です。

関連論文リスト

• 4D Contrastive Superflows are Dense 3D Representation Learners [62.433137130087445]
  我々は,LiDARとカメラのペアを連続的に利用して事前学習の目的を確立するための,新しいフレームワークであるSuperFlowを紹介する。 学習効率をさらに向上するため,カメラビューから抽出した知識の整合性を高めるプラグイン・アンド・プレイ・ビュー・一貫性モジュールを組み込んだ。
  論文  参考訳（メタデータ） (2024-07-08T17:59:54Z)
• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [62.663113296987085]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。 既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• LifeLearner: Hardware-Aware Meta Continual Learning System for Embedded Computing Platforms [17.031135153343502]
  継続学習(CL)は、ユーザのパーソナライズや家庭用ロボットといったアプリケーションが、リアルタイムで学習し、コンテキストに適応することを可能にする。 LifeLearnerは、システムリソースを劇的に最適化するハードウェア対応のメタ学習システムである。 LifeLearnerは、Oracleのベースラインに比べて精度がわずか2.8%低下した、ほぼ最適のCLパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-19T20:39:35Z)
• Robust and Scalable Hyperdimensional Computing With Brain-Like Neural Adaptations [17.052624039805856]
  Internet of Things(IoT)は、エッジベースの機械学習(ML)メソッドを使用して、ローカルに収集されたデータを分析する多くのアプリケーションを容易にした。 脳にインスパイアされた超次元コンピューティング(HDC)がこの問題に対処するために導入された。 既存のHDCは静的エンコーダを使用しており、正確な精度を達成するために非常に高次元と数百のトレーニングイテレーションを必要とする。 本研究では,非所望次元を特定し再生する動的HDC学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-13T19:42:33Z)
• Hierarchical Supervision and Shuffle Data Augmentation for 3D Semi-Supervised Object Detection [90.32180043449263]
  最先端の3Dオブジェクト検出器は通常、高品質な3Dアノテーションを備えた大規模データセットで訓練される。 自然な治療法は、限られた量のラベル付きサンプルと豊富なラベル付きサンプルを活用することで、半教師付き学習(SSL)を採用することである。 本稿では,HSSDA(Hierarchical Supervision and Shuffle Data Augmentation)の新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-04-04T02:09:32Z)
• HDTorch: Accelerating Hyperdimensional Computing with GP-GPUs for Design Space Exploration [4.783565770657063]
  我々は、ハイパーベクタ操作の拡張を備えたPyTorchベースのオープンソースのHDCライブラリであるHDTorchを紹介する。 我々は4つのHDCベンチマークデータセットを精度、実行時間、メモリ消費の観点から分析する。 我々はCHB-MIT脳波てんかんデータベース全体のHDトレーニングと推測分析を行った。
  論文  参考訳（メタデータ） (2022-06-09T19:46:08Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Dynamic Scheduling for Stochastic Edge-Cloud Computing Environments using A3C learning and Residual Recurrent Neural Networks [30.61220416710614]
  A-Advantage-Actor-Critic(A3C)学習は、データが少ない動的なシナリオに迅速に適応することが知られ、Residual Recurrent Neural Network(R2N2)はモデルパラメータを迅速に更新する。 我々はR2N2アーキテクチャを用いて、多数のホストパラメータとタスクパラメータを時間パターンとともにキャプチャし、効率的なスケジューリング決定を提供する。 実世界のデータセットで実施された実験では、エネルギー消費、応答時間、ServiceLevelAgreementおよびランニングコストがそれぞれ14.4%、7.74%、31.9%、および4.64%で大幅に改善された。
  論文  参考訳（メタデータ） (2020-09-01T13:36:34Z)
• Predictive Coding for Locally-Linear Control [92.35650774524399]
  高次元観測と未知のダイナミクスは、多くの実世界の意思決定タスクに最適な制御を適用する際に大きな課題である。 Learning Controllable Embedding (LCE)フレームワークは、観測結果を低次元の潜伏空間に埋め込むことによって、これらの課題に対処する。 理論的には、明示的な次観測予測を予測符号化に置き換えることが可能である。
  論文  参考訳（メタデータ） (2020-03-02T18:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。