論文の概要: Real-Valued Hyperdimensional Sequence Representations with Hadamard Product Binding and Shift Equivariance
- arxiv url: http://arxiv.org/abs/2608.28334v1
- Date: Fri, 28 Aug 2026 13:45:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.342831
- Title: Real-Valued Hyperdimensional Sequence Representations with Hadamard Product Binding and Shift Equivariance
- Title（参考訳）: アダマール積結合とシフト等価性を持つ実値超次元列表現
- Abstract要約: 本稿ではランダム特徴量によって動機付けられた実数値位置符号化を開発する。
これは、フラクショナルパワー表現の望ましい特性を維持しつつ、アダマールベースの操作をサポートすることを目的としている。
時系列分類データセットの実験により、提案した実数値表現は標準のフラクタルパワーカーネルに匹敵する性能が得られることが示された。
- 参考スコア（独自算出の注目度）: 6.771283097297353
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Encoding temporal order is a fundamental requirement for sequence representations in Hyperdimensional Computing. Fractional Power Encoding provides similarity-preserving position vectors whose inner products approximate shift-invariant kernels, and it supports shift-equivariant transformations of encoded sequence representations. However, standard formulations of Fractional Power Encoding are primarily designed for binding operations such as circular convolution or complex-valued multiplication, which limits their compatibility with Hadamard product binding of real-valued vectors. This paper develops real-valued position encodings motivated by Random Fourier Features, aiming to retain the desirable properties of Fractional Power Encoding while supporting Hadamard-based operations. We propose three real-valued position-encoding variants: a real-valued baseline based on the inverse Fourier transform, and Sinusoid and Cosine-only representations derived from Random Fourier Features. Among them, the Sinusoid variant provides an explicit algebraic shift operator, allowing temporal shifts to be applied directly to the vector-encoded sequence representation without re-encoding the shifted sequence. Experiments on time-series classification datasets show that the proposed real-valued representations achieve performance comparable to standard Fractional Power Encoding while enabling computationally efficient Hadamard product binding. The Sinusoid variant offers the most favorable trade-off, combining efficient real-valued implementation with exact shift-equivariant transformations.
- Abstract（参考訳）: 時間順序の符号化は超次元計算におけるシーケンス表現の基本的な要件である。
フラクタルパワーエンコーディングは、内部積がシフト不変カーネルに近似した類似性保存位置ベクトルを提供し、エンコードされたシーケンス表現のシフト不変変換をサポートする。
しかし、フラクショナルパワーエンコーディングの標準的な定式化は、主に、実数値ベクトルのアダマール積束との互換性を制限する円形畳み込みや複素数値乗法のような結合操作のために設計されている。
本稿では,ランダムフーリエ特徴によって動機付けられた実数値位置符号化を開発し,アダマールに基づく演算をサポートしながら,フラクショナルパワーエンコーディングの望ましい特性を維持することを目的とする。
本稿では、逆フーリエ変換に基づく実数値基底線と、ランダムフーリエ特徴から導出される正弦波とコサインのみの表現の3つの実数値位置符号化変種を提案する。
Sinusoid variant は明示的な代数シフト演算子を提供し、シフトしたシーケンスを再エンコードすることなく、ベクトルエンコードされたシーケンス表現に直接時間シフトを適用することができる。
時系列分類データセットの実験により、提案した実数値表現は、計算効率のよいアダマール製品バインディングを実現しつつ、標準的なフラクショナルパワーエンコーディングに匹敵する性能を達成することが示された。
正弦波変法は最も好ましいトレードオフを提供し、効率的な実数値実装と正確なシフト-等変変換を組み合わせたものである。
関連論文リスト
- Spiking Sequence Machines and Transformers [0.0]
シーケンス学習は、時間的インデックス付き表現空間上の類似性に基づく検索を減らす。
正弦波の位置位相とスパイクタイミングが線形に関連していることを示す位相ラテ同型を定式化する。
論文 参考訳（メタデータ） (2026-05-01T13:45:15Z) - Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer [65.38883376379812]
本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。
実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
論文 参考訳（メタデータ） (2026-01-09T12:49:41Z) - WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。
いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。
結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
論文 参考訳（メタデータ） (2025-11-30T16:17:34Z) - Theoretical Analysis of Positional Encodings in Transformer Models: Impact on Expressiveness and Generalization [10.034655199520168]
位置エンコーディングはトランスフォーマーベースのモデルの中核部分である。
本稿では, 様々な位置符号化手法がトランスフォーマーの表現性, 一般化能力, より長いシーケンスに対する外挿にどのように影響するかを解析する。
論文 参考訳（メタデータ） (2025-06-05T23:02:18Z) - Converting Transformers into DGNNs Form [3.7468283401703797]
ダイグラフフーリエ変換に基づく合成ユニタリグラフ畳み込みを導入する。
Converterと呼ぶ結果のモデルは、トランスフォーマーをダイレクトグラフニューラルネットワーク形式に効果的に変換する。
我々は、Long-Range Arenaベンチマーク、Long-Range Arena分類、DNAシークエンスに基づく分類でConverterを検証した。
論文 参考訳（メタデータ） (2025-02-01T22:44:46Z) - Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。
提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。
実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-11-24T13:00:44Z) - PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。
意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。
意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
論文 参考訳（メタデータ） (2024-03-26T14:18:43Z) - Addressing Token Uniformity in Transformers via Singular Value
Transformation [24.039280291845706]
トークンの均一性は、変圧器ベースのモデルでよく見られる。
より歪んだ特異値分布はトークンの均一性の問題を軽減することができることを示す。
論文 参考訳（メタデータ） (2022-08-24T22:44:09Z) - OneDConv: Generalized Convolution For Transform-Invariant Representation [76.15687106423859]
一般化された一次元畳み込み作用素(OneDConv)を提案する。
計算的かつパラメトリック的に効率的な方法で入力特徴に基づいて、畳み込みカーネルを動的に変換する。
一般的な画像のパフォーマンスを犠牲にすることなく、畳み込みの堅牢性と一般化を改善する。
論文 参考訳（メタデータ） (2022-01-15T07:44:44Z) - Demystifying the Better Performance of Position Encoding Variants for
Transformer [12.503079503907989]
トランスフォーマーモデルに位置とセグメントをエンコードする方法を示します。
提案手法は、GLUE, XTREME, WMTベンチマークのSOTAと同等に実行し、コストを節約する。
論文 参考訳（メタデータ） (2021-04-18T03:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。