論文の概要: MetaLDC: Meta Learning of Low-Dimensional Computing Classifiers for Fast On-Device Adaption

• arxiv url: http://arxiv.org/abs/2302.12347v1
• Date: Thu, 23 Feb 2023 21:56:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-27 15:08:52.112151
• Title: MetaLDC: Meta Learning of Low-Dimensional Computing Classifiers for Fast On-Device Adaption
• Title（参考訳）: metaldc: 高速オンデバイス適応のための低次元計算分類器のメタ学習
• Authors: Yejia Liu, Shijin Duan, Xiaolin Xu, Shaolei Ren
• Abstract要約: 計算コストを最小限に抑えた小型デバイスへの高速適応を実現するため,MetaLDCを提案する。 従来のニューラルネットワークとは異なり、MetaLDCは新興のLCCフレームワークに基づいて設計されている。 実験により,MetaLDCはビット誤りやコスト効率のよいハードウェアロバスト性に対して高い精度を実現することが示された。
• 参考スコア（独自算出の注目度）: 15.995013908518702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fast model updates for unseen tasks on intelligent edge devices are crucial but also challenging due to the limited computational power. In this paper,we propose MetaLDC, which meta-trains braininspired ultra-efficient low-dimensional computing classifiers to enable fast adaptation on tiny devices with minimal computational costs. Concretely, during the meta-training stage, MetaLDC meta trains a representation offline by explicitly taking into account that the final (binary) class layer will be fine-tuned for fast adaptation for unseen tasks on tiny devices; during the meta-testing stage, MetaLDC uses closed-form gradients of the loss function to enable fast adaptation of the class layer. Unlike traditional neural networks, MetaLDC is designed based on the emerging LDC framework to enable ultra-efficient on-device inference. Our experiments have demonstrated that compared to SOTA baselines, MetaLDC achieves higher accuracy, robustness against random bit errors, as well as cost-efficient hardware computation.
• Abstract（参考訳）: インテリジェントエッジデバイス上での未認識タスクの高速モデル更新は極めて重要であるが、計算能力の制限のため困難である。 本稿では,脳にインスパイアされた超効率的な低次元計算分類器をメタトレーニングし,最小の計算コストで小型デバイスへの高速適応を実現するmetaldcを提案する。 具体的には、メタLDCメタは、小さなデバイス上で見えないタスクの高速適応のために最終(バイナリ)クラス層が微調整されることを明示的に考慮して、オフラインで表現をトレーニングする。 従来のニューラルネットワークとは異なり、MetaLDCは、デバイス上の超効率的な推論を可能にする、新興のLCCフレームワークに基づいて設計されている。 我々の実験では,SOTAベースラインと比較して,MetaLDCは高い精度,ランダムビット誤りに対する堅牢性,コスト効率のよいハードウェア計算を実現している。

関連論文リスト

• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• FeMLoc: Federated Meta-learning for Adaptive Wireless Indoor Localization Tasks in IoT Networks [1.0650780147044159]
  FeMLocはローカライゼーションのための統合メタラーニングフレームワークである。 FeMLocは、(i)コラボレーティブなメタトレーニングで、エッジデバイスからさまざまなローカライゼーションデータセットをトレーニングすることで、グローバルなメタモデルを生成する。 目標精度が約5mの場合、FeMLocはベースラインNNアプローチよりも82.21%高速である。
  論文  参考訳（メタデータ） (2024-05-17T20:22:39Z)
• Enhanced Meta Label Correction for Coping with Label Corruption [3.6804038214708577]
  本稿では,雑音ラベル問題を用いた学習のための拡張メタラベル補正手法を提案する。 TraditionalCは従来のアプローチより優れており、すべての標準ベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-05-22T12:11:07Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• p-Meta: Towards On-device Deep Model Adaptation [30.27192953408665]
  p-Metaは、構造的に部分的なパラメータの更新を強制する新しいメタ学習手法である。 p-Metaは、最先端のショットアダプティブ法と比較して平均2.5倍のピークダイナミックメモリを著しく減少させることを示した。
  論文  参考訳（メタデータ） (2022-06-25T18:36:59Z)
• A Brain-Inspired Low-Dimensional Computing Classifier for Inference on Tiny Devices [17.976792694929063]
  超次元コンピューティング(HDC)に代わる低次元コンピューティング(LDC)を提案する。 我々は、LCC分類器をニューラルネットワークにマッピングし、原則化されたトレーニングアプローチを用いてモデルを最適化する。 我々のLCC分類器は、既存の脳にインスパイアされたHDCモデルに対して圧倒的な優位性を提供し、特に小さなデバイスでの推論に適している。
  論文  参考訳（メタデータ） (2022-03-09T17:20:12Z)
• Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
  既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。 タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。 メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T22:16:35Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• Faster Meta Update Strategy for Noise-Robust Deep Learning [62.08964100618873]
  我々は,メタグラデーションの最も高価なステップをより高速なレイヤワイズ近似に置き換えるために,新しいファMUS(Faster Meta Update Strategy)を導入する。 本手法は,同等あるいはさらに優れた一般化性能を維持しつつ,トレーニング時間の3分の2を節約できることを示す。
  論文  参考訳（メタデータ） (2021-04-30T16:19:07Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。