論文の概要: BiHDTrans: binary hyperdimensional transformer for efficient multivariate time series classification

• arxiv url: http://arxiv.org/abs/2509.24425v1
• Date: Mon, 29 Sep 2025 08:12:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.849059
• Title: BiHDTrans: binary hyperdimensional transformer for efficient multivariate time series classification
• Title（参考訳）: BiHDTrans: 効率的な多変量時系列分類のための二元超次元変圧器
• Authors: Jingtao Zhang, Yi Liu, Qi Shen, Changhong Wang,
• Abstract要約: 本稿では,効率的なニューロシンボリック二次元超次元変換器であるBiHDTransを紹介する。 変換器の時間的モデリング能力とHDコンピューティングの表現効率を統一する。 FPGA上でのハードウェアアクセラレーションにより、BiHDTransはSOTAバイナリトランスよりも39.4倍低い推論レイテンシを提供する。
• 参考スコア（独自算出の注目度）: 11.01778188644227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of Internet-of-Things (IoT) devices has led to an unprecedented volume of multivariate time series (MTS) data, requiring efficient and accurate processing for timely decision-making in resource-constrained edge environments. Hyperdimensional (HD) computing, with its inherent efficiency and parallelizability, has shown promise in classification tasks but struggles to capture complex temporal patterns, while Transformers excel at sequence modeling but incur high computational and memory overhead. We introduce BiHDTrans, an efficient neurosymbolic binary hyperdimensional Transformer that integrates self-attention into the HD computing paradigm, unifying the representational efficiency of HD computing with the temporal modeling power of Transformers. Empirically, BiHDTrans outperforms state-of-the-art (SOTA) HD computing models by at least 14.47% and achieves 6.67% higher accuracy on average than SOTA binary Transformers. With hardware acceleration on FPGA, our pipelined implementation leverages the independent and identically distributed properties of high-dimensional representations, delivering 39.4 times lower inference latency than SOTA binary Transformers. Theoretical analysis shows that binarizing in holographic high-dimensional space incurs significantly less information distortion than directly binarizing neural networks, explaining BiHDTrans's superior accuracy. Furthermore, dimensionality experiments confirm that BiHDTrans remains competitive even with a 64% reduction in hyperspace dimensionality, surpassing SOTA binary Transformers by 1-2% in accuracy with 4.4 times less model size, as well as further reducing the latency by 49.8% compare to the full-dimensional baseline. Together, these contributions bridge the gap between the expressiveness of Transformers and the efficiency of HD computing, enabling accurate, scalable, and low-latency MTS classification.
• Abstract（参考訳）: IoT(Internet-of-Things)デバイスの普及により、リソース制約のあるエッジ環境において、タイムリーな意思決定のために効率的かつ正確な処理を必要とするマルチバリアント時系列(MTS)データが前例のない量に到達した。 超次元(HD)コンピューティングは、その本質的に効率性と並列性を持つが、分類タスクでは約束されているが、複雑な時間パターンを捉えるのに苦労している。 本稿では,高効率なニューロシンボリック二次元超次元変換器であるBiHDTransを紹介し,HDコンピューティングの表現効率を変換器の時間的モデリングパワーと統合する。 実証的には、BiHDTransは最先端(SOTA)のHDコンピューティングモデルを少なくとも14.47%上回り、SOTAバイナリトランスフォーマーよりも平均6.67%高い精度を実現している。 FPGA上でのハードウェアアクセラレーションにより、パイプライン実装は高次元表現の独立性と同一の分散特性を活用し、SOTAバイナリトランスフォーマーの39.4倍の推論レイテンシを実現する。 理論解析により、ホログラフィック高次元空間における双項化は、直接双項化ニューラルネットワークよりも情報歪みを著しく少なくし、BiHDTransの精度が優れていることを説明できる。 さらに、次元実験により、BiHDTransは、超空間次元が64%減少しても競争力を維持し、SOTAバイナリトランスフォーマーを1-2%の精度で4.4倍のモデルサイズで上回り、さらに遅延を49.8%削減した。 これらのコントリビューションは、トランスフォーマーの表現性とHDコンピューティングの効率のギャップを埋め、正確でスケーラブルで低レイテンシのMSS分類を可能にする。

関連論文リスト

• PiT: Progressive Diffusion Transformer [50.46345527963736]
  拡散変換器(DiT)は変換器アーキテクチャを用いて画像生成において顕著な性能を発揮する。 DiTは以前信じられていたようなグローバルな情報に大きく依存していない。 Pseudo Progressive Diffusion Transformer (PiT)を提案する。
  論文  参考訳（メタデータ） (2025-05-19T15:02:33Z)
• A temporal scale transformer framework for precise remaining useful life prediction in fuel cells [10.899223392837936]
  TS Transformer (Temporal Scale Transformer) は、逆変換器(i Transformer)の拡張版である。 各タイムステップを入力トークンとして扱う従来のトランスフォーマーとは異なり、TSTransformerは異なる長さのシーケンスを異なる段階のトークンにマッピングし、シーケンス間モデリングを行う。 局所的な特徴抽出を改善し、時間スケールの特徴を捉え、トークン数と計算コストを削減する。
  論文  参考訳（メタデータ） (2025-04-08T23:42:54Z)
• Dynamic Diffusion Transformer [67.13876021157887]
  Diffusion Transformer (DiT) は優れた性能を示したが、かなりの計算コストに悩まされている。 本研究では,動的拡散変換器 (DyDiT) を提案する。 3%の微調整により,DiT-XLのFLOPを51%削減し,生成を1.73高速化し,ImageNet上でのFIDスコア2.07を達成する。
  論文  参考訳（メタデータ） (2024-10-04T14:14:28Z)
• Sim-T: Simplify the Transformer Network by Multiplexing Technique for Speech Recognition [2.4956060473718407]
  トランスフォーマーモデルの汎用性を高めるために,Sim-Tと呼ばれる新しい軽量モデルが提案されている。 新たに開発された多重化技術の助けを借りて、Sim-Tはその性能に対して無視できない犠牲でモデルを効率的に圧縮することができる。
  論文  参考訳（メタデータ） (2023-04-11T05:25:00Z)
• An Algorithm-Hardware Co-Optimized Framework for Accelerating N:M Sparse Transformers [11.811907838840712]
  一般のN:M空間パターンを利用して, フレキシブルかつ効率的にトランスフォーマーを高速化するアルゴリズム・ハードウェア協調最適化フレームワークを提案する。 我々は、N:Mスパーストランスをデプロイする際の大幅な高速化を実現するために、フレキシブルで効率的なハードウェアアーキテクチャ、すなわちSTAを提案する。 実験の結果, 他の方法と比較して, IDPを用いて生成したN:Mスパース変圧器は, トレーニング効率の高い精度で平均6.7%向上することがわかった。
  論文  参考訳（メタデータ） (2022-08-12T04:51:49Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)
• TransMOT: Spatial-Temporal Graph Transformer for Multiple Object Tracking [74.82415271960315]
  映像内の物体間の空間的・時間的相互作用を効率的にモデル化するソリューションであるTransMOTを提案する。 TransMOTは従来のTransformerよりも計算効率が高いだけでなく、トラッキング精度も向上している。 提案手法は、MOT15、MOT16、MOT17、MOT20を含む複数のベンチマークデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-04-01T01:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。