論文の概要: Differentiable Weightless Neural Networks

• arxiv url: http://arxiv.org/abs/2410.11112v3
• Date: Wed, 27 Nov 2024 13:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:24:19.518448
• Title: Differentiable Weightless Neural Networks
• Title（参考訳）: 微分可能ウェイトレスニューラルネットワーク
• Authors: Alan T. L. Bacellar, Zachary Susskind, Mauricio Breternitz Jr., Eugene John, Lizy K. John, Priscila M. V. Lima, Felipe M. G. França,
• Abstract要約: 本稿では,相互接続型ルックアップテーブルに基づくモデルであるDWNを提案する。 本稿では,これらのモデルの精度と効率をさらに向上させるために,学習可能なマッピング,学習可能なリダクション,スペクトル正規化を提案する。
• 参考スコア（独自算出の注目度）: 1.453874055504475
• License:
• Abstract: We introduce the Differentiable Weightless Neural Network (DWN), a model based on interconnected lookup tables. Training of DWNs is enabled by a novel Extended Finite Difference technique for approximate differentiation of binary values. We propose Learnable Mapping, Learnable Reduction, and Spectral Regularization to further improve the accuracy and efficiency of these models. We evaluate DWNs in three edge computing contexts: (1) an FPGA-based hardware accelerator, where they demonstrate superior latency, throughput, energy efficiency, and model area compared to state-of-the-art solutions, (2) a low-power microcontroller, where they achieve preferable accuracy to XGBoost while subject to stringent memory constraints, and (3) ultra-low-cost chips, where they consistently outperform small models in both accuracy and projected hardware area. DWNs also compare favorably against leading approaches for tabular datasets, with higher average rank. Overall, our work positions DWNs as a pioneering solution for edge-compatible high-throughput neural networks.
• Abstract（参考訳）: 本稿では,相互接続型ルックアップテーブルに基づくモデルであるDWNを提案する。 DWNのトレーニングは、バイナリ値の近似微分のための拡張有限差分法によって実現されている。 本稿では,これらのモデルの精度と効率をさらに向上させるために,学習可能なマッピング,学習可能なリダクション,スペクトル正規化を提案する。 我々は,DWNを3つのエッジコンピューティングコンテキストで評価する。1) FPGAベースのハードウェアアクセラレータ,2) 最先端のソリューションと比較して優れたレイテンシ,スループット,エネルギー効率,モデル領域を示す,2) 低消費電力のマイクロコントローラ,2) XGBoost より優れたメモリ制約下での精度を実現する,3) 超低コストのチップ。 DWNは、平均ランクの高いグラフデータセットに対する主要なアプローチと好意的に比較する。 全体として、我々の研究はDWNをエッジ互換の高スループットニューラルネットワークの先駆的なソリューションとして位置づけている。

関連論文リスト

• Inference-to-complete: A High-performance and Programmable Data-plane Co-processor for Neural-network-driven Traffic Analysis [18.75879653408466]
  NN駆動型インテリジェントデータプレーン(NN駆動型IDP)は,精度と高性能のために,新たな話題になりつつある。 Kaleidoscopeは、データプレーンのバイパスに位置するフレキシブルで高性能なコプロセッサである。 Kaleidoscopeは256-352 nsの推論遅延と100Gbpsのスループットに到達し、データプレーンへの影響は無視できる。
  論文  参考訳（メタデータ） (2024-11-01T07:10:08Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
  我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。 弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。 我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
  論文  参考訳（メタデータ） (2024-03-14T02:11:38Z)
• Precision-aware Latency and Energy Balancing on Multi-Accelerator Platforms for DNN Inference [22.9834921448069]
  我々は,チップ上で異なるアクセラレーター間で細粒度マッピングを行うハードウェア認識ツールであるODiMOを提案する。 ODiMOは,手動マッピングと比較して,限界精度低下(-0.53%/-0.32%)で,最大33%/31%のエネルギー/遅延を減少させることを示した。
  論文  参考訳（メタデータ） (2023-06-08T09:23:46Z)
• Benchmarking Test-Time Unsupervised Deep Neural Network Adaptation on Edge Devices [19.335535517714703]
  エッジへの展開後のディープニューラルネットワーク(DNN)の予測精度は、新しいデータの分布の変化によって、時間とともに低下する可能性がある。 バッチ正規化パラメータを再調整することにより、ノイズデータに対するモデルの予測精度を向上させるため、近年の予測時間非教師なしDNN適応技術が導入されている。 本論文は, 各種エッジデバイスの性能とエネルギーを定量化するために, この種の技術に関する総合的な研究を初めて行ったものである。
  論文  参考訳（メタデータ） (2022-03-21T19:10:40Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Load-balanced Gather-scatter Patterns for Sparse Deep Neural Networks [20.374784902476318]
  モデル重み付けにゼロを導入する方法として, モデル精度と計算効率のトレードオフを良好に提供する方法として, プルーニングが有効であることが示されている。 現代のプロセッサには、高速なオンチップスクラッチパッドメモリと、間接的に負荷を発生させ、そのようなメモリ上の操作を格納する集/散乱エンジンが備わっている。 本研究では,スクラッチパッドメモリと集合/散乱エンジンを利用して,ニューラルネットワークの推論を高速化する,新しいスパースパターン(GSパターン)を提案する。
  論文  参考訳（メタデータ） (2021-12-20T22:55:45Z)
• PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object Detection [57.49788100647103]
  LiDARベースの3Dオブジェクト検出は、自動運転にとって重要なタスクです。 現在のアプローチでは、遠方および閉ざされた物体の偏りと部分的な点雲に苦しむ。 本稿では,この課題を2つの解決法で解決する新しい二段階アプローチ,pc-rgnnを提案する。
  論文  参考訳（メタデータ） (2020-12-18T18:06:43Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices [58.62801151916888]
  パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。 新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
  論文  参考訳（メタデータ） (2020-01-20T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。