論文の概要: DecoHD: Decomposed Hyperdimensional Classification under Extreme Memory Budgets

• arxiv url: http://arxiv.org/abs/2511.03911v1
• Date: Wed, 05 Nov 2025 23:28:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.237292
• Title: DecoHD: Decomposed Hyperdimensional Classification under Extreme Memory Budgets
• Title（参考訳）: DecoHD:極端メモリ予算下での超次元分類
• Authors: Sanggeon Yun, Hyunwoo Oh, Ryozo Masukawa, Mohsen Imani,
• Abstract要約: 分解は、I/Oを変更することなくディープネットワークを縮小する実証済みの方法である。 本稿では,分解したHDCパラメータ化で直接学習するDecoHDを紹介する。 評価において、DecoHDはわずかな劣化精度で極端なメモリ節約を達成する。
• 参考スコア（独自算出の注目度）: 8.226639797032483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decomposition is a proven way to shrink deep networks without changing I/O. We bring this idea to hyperdimensional computing (HDC), where footprint cuts usually shrink the feature axis and erode concentration and robustness. Prior HDC decompositions decode via fixed atomic hypervectors, which are ill-suited for compressing learned class prototypes. We introduce DecoHD, which learns directly in a decomposed HDC parameterization: a small, shared set of per-layer channels with multiplicative binding across layers and bundling at the end, yielding a large representational space from compact factors. DecoHD compresses along the class axis via a lightweight bundling head while preserving native bind-bundle-score; training is end-to-end, and inference remains pure HDC, aligning with in/near-memory accelerators. In evaluation, DecoHD attains extreme memory savings with only minor accuracy degradation under tight deployment budgets. On average it stays within about 0.1-0.15% of a strong non-reduced HDC baseline (worst case 5.7%), is more robust to random bit-flip noise, reaches its accuracy plateau with up to ~97% fewer trainable parameters, and -- in hardware -- delivers roughly 277x/35x energy/speed gains over a CPU (AMD Ryzen 9 9950X), 13.5x/3.7x over a GPU (NVIDIA RTX 4090), and 2.0x/2.4x over a baseline HDC ASIC.
• Abstract（参考訳）: 分解は、I/Oを変更することなくディープネットワークを縮小する実証済みの方法である。 我々はこのアイデアを超次元コンピューティング(HDC)に持ち込み、フットプリントカットは通常、特徴軸を縮小し、エロード濃度とロバストネスを低下させる。 以前のHDC分解は、学習したクラスのプロトタイプを圧縮するのに不適な固定原子ハイパーベクターによってデコードされる。 分割されたHDCパラメータ化で直接学習するDecoHDについて紹介する: 層をまたいで多重結合し、最後にバンドルする層間チャネルの小さな共有集合で、コンパクトな要素から大きな表現空間が得られる。 DecoHDは、軽量なバンドルヘッドを介してクラス軸に沿って圧縮し、ネイティブなバインド・バンドルスコアを保持し、トレーニングはエンドツーエンドであり、推論は純粋なHDCのままであり、イン/ニアメモリアクセラレータと整合する。 評価において、DecoHDは、厳格なデプロイメント予算の下でわずかに精度を低下させるだけで、極端なメモリ節約を達成する。 ハードウェアでは、CPU(AMD Ryzen 9 9950X)で約277x/35x、GPU(NVIDIA RTX 4090)で13.5x/3.7x、ベースラインのHDC ASICで2.0x/2.4xとなる。

関連論文リスト

• LogHD: Robust Compression of Hyperdimensional Classifiers via Logarithmic Class-Axis Reduction [12.477312277548497]
  LogHDは、クラスごとに$C$のプロトタイプを$n!approx!lceillog_kに置き換える対数的なクラス軸の削減である。 データセットとインジェクトされたビットフリップ全体にわたって、LogHDは、より小さなモデルと競合する精度と、一致したメモリでのレジリエンスの向上を実現している。
  論文  参考訳（メタデータ） (2025-11-06T00:33:21Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• DPQ-HD: Post-Training Compression for Ultra-Low Power Hyperdimensional Computing [6.378578005171813]
  ポストトレーニング圧縮アルゴリズムDPQ-HD(Decomposition-Pruning-Quantization)を提案する。 DPQ-HDは上記の3つの圧縮技法を一意に組み合わせることで計算とメモリのオーバーヘッドを低減する。 DPQ-HDは1-2%の精度で画像およびグラフ分類タスクの最大20-100倍のメモリ削減を実現している。
  論文  参考訳（メタデータ） (2025-05-08T16:54:48Z)
• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
  大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• LoCo: Low-Bit Communication Adaptor for Large-scale Model Training [63.040522637816906]
  低ビット通信は、しばしば圧縮情報損失によってトレーニング品質が低下する。 本稿では,ローカルGPUノードを補償するLoCo(Lo-bit Communication Adaptor)を提案する。 実験結果から,Megatron-LMやPyTorchs FSDPといった大規模トレーニングモデルフレームワークの移動により,LoCoは圧縮通信効率を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-05T13:01:36Z)
• HDCC: A Hyperdimensional Computing compiler for classification on embedded systems and high-performance computing [58.720142291102135]
  この研究は、HDC分類メソッドの高レベルな記述を最適化されたCコードに変換する最初のオープンソースコンパイラである、ネームコンパイラを紹介している。 nameは現代のコンパイラのように設計されており、直感的で記述的な入力言語、中間表現(IR)、再ターゲット可能なバックエンドを備えている。 これらの主張を裏付けるために,HDC文献で最もよく使われているデータセットについて,HDCCを用いて実験を行った。
  論文  参考訳（メタデータ） (2023-04-24T19:16:03Z)
• Efficient Hyperdimensional Computing [4.8915861089531205]
  我々は,2次元超ベクトルを用いたHDCモデルを,最先端HDCモデルよりも桁違いに低次元で開発する。 例えば、MNISTデータセットでは、次元が64の画像分類において91.12%のHDC精度を達成する。
  論文  参考訳（メタデータ） (2023-01-26T02:22:46Z)
• HDTorch: Accelerating Hyperdimensional Computing with GP-GPUs for Design Space Exploration [4.783565770657063]
  我々は、ハイパーベクタ操作の拡張を備えたPyTorchベースのオープンソースのHDCライブラリであるHDTorchを紹介する。 我々は4つのHDCベンチマークデータセットを精度、実行時間、メモリ消費の観点から分析する。 我々はCHB-MIT脳波てんかんデータベース全体のHDトレーニングと推測分析を行った。
  論文  参考訳（メタデータ） (2022-06-09T19:46:08Z)
• EnHDC: Ensemble Learning for Brain-Inspired Hyperdimensional Computing [2.7462881838152913]
  本稿では,超次元コンピューティングの文脈において,アンサンブル学習を探求する最初の試みについて述べる。 本稿では,EnHDCと呼ばれる最初のアンサンブルHDCモデルを提案する。 本研究では,1つのHDC分類器に対して平均3.2%の精度向上を達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T09:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。