論文の概要: Preisach Attention: A Hysteretic Model of Sequential Memory
- arxiv url: http://arxiv.org/abs/2605.23603v1
- Date: Fri, 22 May 2026 13:12:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.362155
- Title: Preisach Attention: A Hysteretic Model of Sequential Memory
- Title（参考訳）: Preisach Attention: 逐次記憶のヒステリックモデル
- Abstract要約: PAL(Preisach Attention Layer)について紹介する。
PALは、ソフトマックスアテンション機構を、学習されたアクティベーションと非アクティベーションしきい値によってパラメータ化されたバイナリリレー演算子に置き換える。
O(1)深さの単層PAL変換器は任意の精度演算の下でチューリング完全である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the Preisach Attention Layer (PAL), a novel sequence modelling architecture grounded in the classical Preisach hysteresis operator from mathematical physics. PAL replaces the softmax attention mechanism with a binary relay operator parameterised by learned activation and deactivation thresholds, maintaining a stack of local extrema as its internal state. A single-layer PAL-Transformer with O(1) depth is Turing-complete under arbitrary precision arithmetic, achievable through simulation of a two-stack pushdown automaton -- in contrast to the O(log n) depth required by standard hard-attention transformers. Second, we prove that the function classes computable by PAL and by the transformer are incomparable: PAL computes historical range statistics in O(1) layers that require O(log n) layers for transformers, while transformers support random-access retrieval that PAL cannot perform without auxiliary state. The separating property is rate-independence -- PAL responds only to the sequence of local extrema, not to absolute token positions or temporal spacing. Third, we show that the extremum stack constitutes a minimal sufficient statistic of the input history for all rate-independent functionals, providing a formal analogue of the wiping property in classical hysteresis theory. PAL is thus an efficient architecture for tasks with long episodic memory and weak positional dependence, with O(n log n) total inference cost versus O(n^2) for standard attention.
- Abstract（参考訳）: 本稿では,古典的Preisach hysteresis演算子に基礎を置く新しいシーケンスモデリングアーキテクチャであるPreisach Attention Layer (PAL)を紹介する。
PALは、ソフトマックスアテンション機構を、学習されたアクティベーションと非活性化しきい値によってパラメータ化されたバイナリリレー演算子に置き換え、内部状態として局所的極端のスタックを維持する。
O(1)の深さを持つ単層PAL変換器は、任意の精度演算の下でチューリング完全であり、標準的なハードアテンション変換器で要求されるO(log n)の深さとは対照的に、2スタックのプッシュダウンオートマトンをシミュレーションすることで実現可能である。
PALは変換器のO(log n)層を必要とするO(1)層の履歴範囲統計を計算し、変換器は補助状態なしでは実行できないランダムアクセス検索をサポートする。
PALは絶対トークンの位置や時間間隔ではなく、局所的なエクストリームのシーケンスにのみ応答する。
第三に、極大スタックは全てのレート非依存関数に対する入力履歴の最小統計量を構成し、古典的ヒステリシス理論におけるワイピング特性の形式的な類似を提供する。
したがって、PALは長いエピソードメモリと弱い位置依存を持つタスクのための効率的なアーキテクチャであり、標準の注意のためにO(n log n)の総推論コスト対O(n^2)である。
関連論文リスト
- Towards Deploying Optimistic Quantum Fourier Transforms: An Architecture-Algorithm Co-Design Study [0.0]
我々は、再構成可能な中性原子ハードウェアのための表面コードフォールトトレラント実行モデルの下で、OQFT(Optimistic Quantum Fourier Transform)のアーキテクチャと設計の共設計について述べる。
本分析では, 資源推定の主要因として, 反応制限操作と需要を同定し, プリミティブベースアーキテクチャ研究のための一般化可能な基盤を確立する。
論文 参考訳（メタデータ） (2026-05-14T18:11:04Z) - Deterministic Ground State Preparation via Power-Cosine Filtering of Time Evolution Operators [0.0]
本稿では,Power-Cosine量子信号処理フィルタを用いた地中準備のための非変分プロトコルを提案する。
複雑なブロックエンコーディング手法を推定することにより,1つのアシラリー量子ビットで制御されるコヒーレントな時間進化演算子を直接利用することができる。
論文 参考訳（メタデータ） (2026-02-23T07:01:30Z) - Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures [0.0]
本稿では,アフィン変換を2つのトポロジカルな経路に分解するHybrid Dual-Path Linear (HDPL)演算子について紹介する。
FineWeb-Eduデータセットの実験では、HDPLアーキテクチャが標準のLlamaスタイルのベースラインより優れていることが示されている。
本稿では,トランスフォーマーのバックボーン内での確率的潜在空間の明示的な物質化が,重要な建築的余裕として果たす役割について論じる。
論文 参考訳（メタデータ） (2026-02-05T20:16:10Z) - GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。
GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
論文 参考訳（メタデータ） (2025-11-28T07:26:45Z) - A general optimization framework for mapping local transition-state networks [0.0]
局所遷移状態ネットワークは、観測された振る舞いを説明する障壁アーキテクチャを明らかにする。
本稿では,多目的エクスプローラーと二層最小モードカーネルを結合することにより,局所的カバレッジを体系的に拡張する汎用最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-30T13:54:10Z) - Fast attention mechanisms: a tale of parallelism [52.7657529272906]
準四分法的時間複雑性を有する近似近傍注意(ANNA)という,効率的な注意機構を導入する。
我々は,ANNA変換器が従来確立されていた表現力を維持し,MPCアルゴリズムの能力に適合することを示す。
論文 参考訳（メタデータ） (2025-09-10T20:59:44Z) - PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。
家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
論文 参考訳（メタデータ） (2025-05-22T08:36:09Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳（メタデータ） (2023-07-16T16:32:14Z) - Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。
RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。
我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
論文 参考訳（メタデータ） (2022-05-26T14:51:30Z) - Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。
既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。
自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
論文 参考訳（メタデータ） (2021-07-12T22:43:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。