論文の概要: Efficient Hyperdimensional Computing with Modular Composite Representations
- arxiv url: http://arxiv.org/abs/2511.09708v1
- Date: Fri, 14 Nov 2025 01:05:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-14 22:53:22.42832
- Title: Efficient Hyperdimensional Computing with Modular Composite Representations
- Title(参考訳): モジュラコンポジット表現を用いた高次元効率的な計算
- Authors: Marco Angioli, Christopher J. Kymn, Antonello Rosato, Amy Loutfi, Mauro Olivieri, Denis Kleyko,
- Abstract要約: モジュラー合成表現(MCR)は、高次元の整数ベクトルを持つ情報を表す計算モデルである。
MCRは, キャパシティ, 精度, ハードウェア効率のバランスを保っていることを示す。
バイナリスパッタ符号と精度が一致した場合、MCRは平均3.08倍の高速化と2.68倍のエネルギー消費を達成する。
- 参考スコア(独自算出の注目度): 7.178549989570062
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The modular composite representation (MCR) is a computing model that represents information with high-dimensional integer vectors using modular arithmetic. Originally proposed as a generalization of the binary spatter code model, it aims to provide higher representational power while remaining a lighter alternative to models requiring high-precision components. Despite this potential, MCR has received limited attention. Systematic analyses of its trade-offs and comparisons with other models are lacking, sustaining the perception that its added complexity outweighs the improved expressivity. In this work, we revisit MCR by presenting its first extensive evaluation, demonstrating that it achieves a unique balance of capacity, accuracy, and hardware efficiency. Experiments measuring capacity demonstrate that MCR outperforms binary and integer vectors while approaching complex-valued representations at a fraction of their memory footprint. Evaluation on 123 datasets confirms consistent accuracy gains and shows that MCR can match the performance of binary spatter codes using up to 4x less memory. We investigate the hardware realization of MCR by showing that it maps naturally to digital logic and by designing the first dedicated accelerator. Evaluations on basic operations and 7 selected datasets demonstrate a speedup of up to 3 orders of magnitude and significant energy reductions compared to software implementation. When matched for accuracy against binary spatter codes, MCR achieves on average 3.08x faster execution and 2.68x lower energy consumption. These findings demonstrate that, although MCR requires more sophisticated operations than binary spatter codes, its modular arithmetic and higher per-component precision enable lower dimensionality. When realized with dedicated hardware, this results in a faster, more energy-efficient, and high-precision alternative to existing models.
- Abstract(参考訳): モジュラー合成表現 (MCR) は、モジュラー演算を用いて高次元整数ベクトルで情報を表現する計算モデルである。
元々はバイナリスパッタ符号モデルの一般化として提案され、高精度なコンポーネントを必要とするモデルに代えて、より軽量な表現力を提供することを目的としている。
この可能性にもかかわらず、MCRは限定的な注目を集めている。
トレードオフの体系的な分析と他のモデルとの比較は欠如しており、その複雑さが表現力の向上よりも優れているという認識を維持している。
本研究は,MCRの能力,精度,ハードウェア効率のユニークなバランスを達成できることを実証し,その評価を行い,MCRを再考するものである。
容量を測定する実験により、MCRはメモリフットプリントのごく一部で複素数値表現に近づきながら、二進ベクトルと整数ベクトルより優れていることが示された。
123データセットの評価は、一貫した精度の向上を確認し、MCRが最大4倍のメモリでバイナリスパッタコードのパフォーマンスと一致することを示す。
本研究は,MCRのハードウェア実現について,デジタル論理に自然に対応し,最初の専用アクセラレータを設計することで検討する。
基本操作と7つの選択されたデータセットの評価は、ソフトウェア実装と比較して最大3桁のスピードアップと大幅なエネルギー削減を示している。
バイナリスパッタ符号と精度が一致した場合、MCRは平均3.08倍の高速化と2.68倍のエネルギー消費を達成する。
これらの結果から、MCRは二進法よりも洗練された演算を必要とするが、そのモジュラー演算と高次成分ごとの精度は、より低次元性を実現することが示されている。
専用ハードウェアで実現すれば、既存のモデルよりも高速で、エネルギー効率が高く、高精度な代替となる。
関連論文リスト
- Sensor Calibration Model Balancing Accuracy, Real-time, and Efficiency [4.212937192948915]
Scare (Sensor model balance, Real-time, Accuracy and efficiency) は8つの顕微鏡的要件を同時に満たす超圧縮トランスである。
Scare は,(1) ビン間の境界情報を保持しながら時系列データを対数的に圧縮するシーケンスレンズプロジェクタ (SLP) ,(2) コストのかかる乗算をバイナリハッシュコードによるビットワイズ操作に置き換える効率的なビットワイズアテンション (EBA) モジュール,(3) 補助損失項のない安定したトレーニングを保証するハッシュ最適化戦略の3つのコアコンポーネントから構成される。
論文 参考訳(メタデータ) (2025-11-10T05:16:20Z) - Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。
既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。
筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
論文 参考訳(メタデータ) (2025-08-28T06:36:10Z) - Large Language Model Evaluation via Matrix Nuclear-Norm [11.878496378814045]
本稿では,大規模言語モデル(LLM)のデータ圧縮精度を定量化するための指標として,マトリックス核ノルムを紹介する。
さらに、(L_1,2text-norm )を用いて核ノルムを近似することにより、モデルの情報圧縮能力を効果的に評価できる。
マトリックス核ノームは、CEREBRAS-GPTモデルにおいて、サイズが111Mから6.7Bに増加するにつれて、マトリックスエントロピーの8倍から24倍の速度を達成する。
論文 参考訳(メタデータ) (2024-10-14T16:15:57Z) - Efficient Transformer Encoders for Mask2Former-style models [57.54752243522298]
ECO-M2Fは、入力画像上に条件付きエンコーダ内の隠蔽層数を自己選択する戦略である。
提案手法は、性能を維持しながら、予測エンコーダの計算コストを削減する。
アーキテクチャ構成では柔軟性があり、セグメンテーションタスクを超えてオブジェクト検出まで拡張できる。
論文 参考訳(メタデータ) (2024-04-23T17:26:34Z) - Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。
トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
論文 参考訳(メタデータ) (2024-01-11T18:54:44Z) - DenseBAM-GI: Attention Augmented DeneseNet with momentum aided GRU for
HMER [4.518012967046983]
手書き数式における記号間の長さと空間的関係を正確に決定することは困難である。
本研究では,HMERのための新しいエンコーダデコーダアーキテクチャ(DenseBAM-GI)を提案する。
提案モデルは,表現認識率(Exprate)の観点から,最先端モデルに匹敵する性能を有する,効率的で軽量なアーキテクチャである。
論文 参考訳(メタデータ) (2023-06-28T18:12:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。