論文の概要: Resource-Efficient Federated Hyperdimensional Computing

• arxiv url: http://arxiv.org/abs/2306.01339v1
• Date: Fri, 2 Jun 2023 08:07:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 16:13:19.563429
• Title: Resource-Efficient Federated Hyperdimensional Computing
• Title（参考訳）: 資源効率の高いフェデレーション超次元計算
• Authors: Nikita Zeulin, Olga Galinina, Nageen Himayat, Sergey Andreev
• Abstract要約: 従来の超次元計算(HDC)では、より大きなモデルを訓練すると予測性能が向上するが、計算量、通信量、エネルギー資源も増大する。 提案したリソース効率のフレームワークは、複数の独立したHDCサブモデルをトレーニングすることで、そのような制約を緩和する。 提案手法は,計算資源や無線資源の消費を減らしながら,同等あるいは高い予測性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 6.778675369739912
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In conventional federated hyperdimensional computing (HDC), training larger models usually results in higher predictive performance but also requires more computational, communication, and energy resources. If the system resources are limited, one may have to sacrifice the predictive performance by reducing the size of the HDC model. The proposed resource-efficient federated hyperdimensional computing (RE-FHDC) framework alleviates such constraints by training multiple smaller independent HDC sub-models and refining the concatenated HDC model using the proposed dropout-inspired procedure. Our numerical comparison demonstrates that the proposed framework achieves a comparable or higher predictive performance while consuming less computational and wireless resources than the baseline federated HDC implementation.
• Abstract（参考訳）: 従来の連合超次元コンピューティング(hdc)では、より大きなモデルのトレーニングは予測性能の向上をもたらすが、計算、通信、エネルギーリソースも必要となる。 システムリソースが限られている場合は、hdcモデルのサイズを小さくすることで予測性能を犠牲にする必要がある。 提案フレームワークは,複数の独立したHDCサブモデルをトレーニングし,提案したドロップアウトインスパイアされた手順を用いて連結HDCモデルを精査することにより,そのような制約を緩和する。 提案手法は,ベースラインフェデレーションhdc実装よりも少ない計算資源と無線資源を消費しながら,同等あるいは高い予測性能を実現していることを示す。

関連論文リスト

• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Slimmable Encoders for Flexible Split DNNs in Bandwidth and Resource Constrained IoT Systems [12.427821850039448]
  本稿では,スリム化可能なアンサンブルエンコーダに基づく分割計算手法を提案する。 私たちの設計の主な利点は、計算負荷と送信データサイズを最小限のオーバーヘッドと時間でリアルタイムで適応できることです。 本モデルでは,圧縮効率や実行時間,特にモバイルデバイスの弱い状況において,既存のソリューションよりも優れています。
  論文  参考訳（メタデータ） (2023-06-22T06:33:12Z)
• CC-FedAvg: Computationally Customized Federated Averaging [11.687451505965655]
  フェデレートラーニング(FL)は、多くのIoTデバイスから分散データでモデルをトレーニングするための新興パラダイムである。 計算集約的な反復を伴わずに局所モデルを推定する手法を提案する。 CC-FedAvgはリソース制約なしでFedAvgと同じ収束率と同等の性能を示す。
  論文  参考訳（メタデータ） (2022-12-28T03:32:29Z)
• Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
  単一チャネルソース分離(SCSS)の問題点について検討する。 我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。 本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T14:04:56Z)
• Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
  本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。 量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
  論文  参考訳（メタデータ） (2022-08-11T04:04:03Z)
• A Brain-Inspired Low-Dimensional Computing Classifier for Inference on Tiny Devices [17.976792694929063]
  超次元コンピューティング(HDC)に代わる低次元コンピューティング(LDC)を提案する。 我々は、LCC分類器をニューラルネットワークにマッピングし、原則化されたトレーニングアプローチを用いてモデルを最適化する。 我々のLCC分類器は、既存の脳にインスパイアされたHDCモデルに対して圧倒的な優位性を提供し、特に小さなデバイスでの推論に適している。
  論文  参考訳（メタデータ） (2022-03-09T17:20:12Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。