論文の概要: Resource-Efficient Federated Hyperdimensional Computing

• arxiv url: http://arxiv.org/abs/2306.01339v1
• Date: Fri, 2 Jun 2023 08:07:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 16:13:19.563429
• Title: Resource-Efficient Federated Hyperdimensional Computing
• Title（参考訳）: 資源効率の高いフェデレーション超次元計算
• Authors: Nikita Zeulin, Olga Galinina, Nageen Himayat, Sergey Andreev
• Abstract要約: 従来の超次元計算(HDC)では、より大きなモデルを訓練すると予測性能が向上するが、計算量、通信量、エネルギー資源も増大する。 提案したリソース効率のフレームワークは、複数の独立したHDCサブモデルをトレーニングすることで、そのような制約を緩和する。 提案手法は,計算資源や無線資源の消費を減らしながら,同等あるいは高い予測性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 6.778675369739912
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In conventional federated hyperdimensional computing (HDC), training larger models usually results in higher predictive performance but also requires more computational, communication, and energy resources. If the system resources are limited, one may have to sacrifice the predictive performance by reducing the size of the HDC model. The proposed resource-efficient federated hyperdimensional computing (RE-FHDC) framework alleviates such constraints by training multiple smaller independent HDC sub-models and refining the concatenated HDC model using the proposed dropout-inspired procedure. Our numerical comparison demonstrates that the proposed framework achieves a comparable or higher predictive performance while consuming less computational and wireless resources than the baseline federated HDC implementation.
• Abstract（参考訳）: 従来の連合超次元コンピューティング(hdc)では、より大きなモデルのトレーニングは予測性能の向上をもたらすが、計算、通信、エネルギーリソースも必要となる。 システムリソースが限られている場合は、hdcモデルのサイズを小さくすることで予測性能を犠牲にする必要がある。 提案フレームワークは,複数の独立したHDCサブモデルをトレーニングし,提案したドロップアウトインスパイアされた手順を用いて連結HDCモデルを精査することにより,そのような制約を緩和する。 提案手法は,ベースラインフェデレーションhdc実装よりも少ない計算資源と無線資源を消費しながら,同等あるいは高い予測性能を実現していることを示す。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• HD-CB: The First Exploration of Hyperdimensional Computing for Contextual Bandits Problems [0.6377289349842638]
  この研究は超次元文脈帯域(HD-CB)を導入している。 HD-CBは、シーケンシャルな意思決定問題をモデル化し、自動化するためのHDCの最初の探索である。 従来の線形CBアルゴリズムと比較して、競争力や優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-01-28T11:28:09Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• CC-FedAvg: Computationally Customized Federated Averaging [11.687451505965655]
  フェデレートラーニング(FL)は、多くのIoTデバイスから分散データでモデルをトレーニングするための新興パラダイムである。 計算集約的な反復を伴わずに局所モデルを推定する手法を提案する。 CC-FedAvgはリソース制約なしでFedAvgと同じ収束率と同等の性能を示す。
  論文  参考訳（メタデータ） (2022-12-28T03:32:29Z)
• Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
  単一チャネルソース分離(SCSS)の問題点について検討する。 我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。 本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T14:04:56Z)
• Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
  本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。 量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
  論文  参考訳（メタデータ） (2022-08-11T04:04:03Z)
• A Brain-Inspired Low-Dimensional Computing Classifier for Inference on Tiny Devices [17.976792694929063]
  超次元コンピューティング(HDC)に代わる低次元コンピューティング(LDC)を提案する。 我々は、LCC分類器をニューラルネットワークにマッピングし、原則化されたトレーニングアプローチを用いてモデルを最適化する。 我々のLCC分類器は、既存の脳にインスパイアされたHDCモデルに対して圧倒的な優位性を提供し、特に小さなデバイスでの推論に適している。
  論文  参考訳（メタデータ） (2022-03-09T17:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。