論文の概要: Selective Synchronization Attention

• arxiv url: http://arxiv.org/abs/2602.14445v1
• Date: Mon, 16 Feb 2026 03:58:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.135243
• Title: Selective Synchronization Attention
• Title（参考訳）: Selective Synchronization Attention
• Authors: Hasi Hays,
• Abstract要約: トランスフォーマーアーキテクチャは現代のディープラーニングの基盤となっているが、その中心となる自己認識機構は生物学的ニューラルネットワークの基盤を欠いている。 本稿では,標準的なドット積自己注意を閉形式演算子に置き換える新しい注意機構である選択同期注意(SSA)を提案する。 SSAは、(i)位相同期しきい値からの自然空間性、(i)周波数を持つトークンが明示的なマスキングなしで自動的に注意重量をゼロにする、(ii)自然周波数スペクトルを通した位置意味エンコーディング、(iii)単一のパス、クローズドなエンコーディング、の3つの主要な利点を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Transformer architecture has become the foundation of modern deep learning, yet its core self-attention mechanism suffers from quadratic computational complexity and lacks grounding in biological neural computation. We propose Selective Synchronization Attention (SSA), a novel attention mechanism that replaces the standard dot-product self-attention with a closed-form operator derived from the steady-state solution of the Kuramoto model of coupled oscillators. In SSA, each token is represented as an oscillator characterized by a learnable natural frequency and phase; the synchronization strength between token pairs, determined by a frequency-dependent coupling and phase-locking condition, serves as the attention weight. This formulation provides three key advantages: (i) natural sparsity arising from the phase-locking threshold, whereby tokens with incompatible frequencies automatically receive zero attention weight without explicit masking; (ii) unified positional-semantic encoding through the natural frequency spectrum, eliminating the need for separate positional encodings; and (iii) a single-pass, closed-form computation that avoids iterative ODE integration, with all components (coupling, order parameter, synchronization) derived from the oscillatory framework. We instantiate SSA within the Oscillatory Synchronization Network (OSN), a drop-in replacement for the Transformer block. Analysis of the synchronization matrices reveals non-uniform, head-diverse coupling patterns even at initialization, demonstrating a stronger architectural inductive bias than the approximately uniform attention produced by randomly initialized Transformers.
• Abstract（参考訳）: Transformerアーキテクチャは現代のディープラーニングの基盤となっているが、その中心となる自己認識メカニズムは2次計算の複雑さに悩まされており、生物学的ニューラルネットワークの基盤を欠いている。 結合発振器の倉本モデルの定常解から導かれる閉形式演算子を用いて,標準的な点積自己注意を置き換える新しい注意機構である選択同期注意機構(SSA)を提案する。 SSAでは、各トークンは、学習可能な自然周波数と位相で特徴づけられる発振器として表現される。 この定式化は3つの大きな利点をもたらす。 一 位相同期しきい値から生じる自然の間隔で、不整合周波数のトークンは、明示的にマスキングすることなく自動的に注意重量をゼロにする。 (二)自然周波数スペクトルによる統合された位置-意味符号化であって、位置-意味符号化の分離の必要性を排除すること。 (iii) 発振フレームワークから派生したすべてのコンポーネント(結合、順序パラメータ、同期)と繰り返しODE統合を避けるシングルパスのクローズドフォーム計算。 我々は、Transformerブロックのドロップイン置換であるOscillatory Synchronization Network (OSN)内でSSAをインスタンス化する。 同期行列の解析により、初期化時でも一様でない頭部-横結合パターンが明らかとなり、ランダムに初期化されたトランスフォーマーが生み出すほぼ均一な注意よりも、より強いアーキテクチャ的帰納バイアスが示される。

関連論文リスト

• SKANet: A Cognitive Dual-Stream Framework with Adaptive Modality Fusion for Robust Compound GNSS Interference Classification [47.20483076887704]
  グローバルナビゲーション衛星システム(GNSS)は、洗練された妨害による脅威の増大に直面している。 時間周波数画像(TFI)とパワースペクトル密度(PSD)を統合した2重ストリームアーキテクチャに基づく認知的ディープラーニングフレームワークを提案する。 SKANetは96.99%の精度を達成し、複合妨害分類において優れたロバスト性を示した。
  論文  参考訳（メタデータ） (2026-01-19T07:42:45Z)
• Stochastic Clock Attention for Aligning Continuous and Ordered Sequences [1.2418532541734193]
  我々はアライメントモデルとして機能する連続および順序列に対する注意機構を定式化する。 Transformerのテキスト音声テストベッドでは、この構造により、より安定したアライメントが得られ、グローバルな時間スケーリングに対する堅牢性が向上する。
  論文  参考訳（メタデータ） (2025-09-18T07:18:34Z)
• Quantum synchronization in one-dimensional topological systems [3.5253782180203146]
  量子系におけるシンクロナイゼーションは、中心サイトへの散逸を適用して誘導することができる。 トポロジカルエッジ状態に由来する2種類の同期は、境界点間の対角線外あるいは対角線の相関によって特徴づけられる。 注目すべきは、同期振動は熱力学的限界において安定した振幅と周波数を維持することである。
  論文  参考訳（メタデータ） (2024-09-19T09:03:09Z)
• Recurrent Complex-Weighted Autoencoders for Unsupervised Object Discovery [62.43562856605473]
  複雑な重み付き再帰的アーキテクチャの計算上の優位性について論じる。 本稿では,反復的制約満足度を実現する完全畳み込みオートエンコーダSynCxを提案する。
  論文  参考訳（メタデータ） (2024-05-27T15:47:03Z)
• Learning Iterative Robust Transformation Synchronization [71.73273007900717]
  グラフニューラルネットワーク(GNN)を用いて変換同期を学習することを提案する。 本研究では、ロバストな損失関数のハンドクラフトを回避するとともに、グラフニューラルネットワーク(GNN)を用いて変換同期を学習することを提案する。
  論文  参考訳（メタデータ） (2021-11-01T07:03:14Z)
• Reservoir Computing using High Order Synchronization of Coupled Oscillators [0.0]
  本稿では,高次同期効果を用いた振動子上の貯水池計算の概念を提案する。 提案する計算概念は、様々な性質の発振器に実装することができる。
  論文  参考訳（メタデータ） (2020-04-08T16:47:25Z)
• Switching dynamics of single and coupled VO2-based oscillators as elements of neural networks [55.41644538483948]
  本稿では,単一および結合型VO2系発振器の抵抗結合および容量結合によるスイッチングダイナミクスについて報告し,ニューラルネットワークへの応用の可能性について検討する。 抵抗結合については、結合抵抗の一定の値で同期が発生するが、不安定であり、同期故障が周期的に起こることが示されている。 容量結合については、弱い結合と強い結合を持つ2つの同期モードが見出され、これらのモード間の遷移はカオス振動を伴う。
  論文  参考訳（メタデータ） (2020-01-07T02:16:04Z)
• Thermal coupling and effect of subharmonic synchronization in a system of two VO2 based oscillators [55.41644538483948]
  本稿では,二酸化バナジウムスイッチングデバイスを用いた振動型ニューラルネットワーク(ONN)の試作について検討する。 カップリングの効果的な作用半径RTCは、スイッチング中に放出される総エネルギーと平均出力に依存する。 強い熱カップリングの場合、振動が存在する供給電流パラメータの限界は10%拡大する。 サブハーモニック同期の効果は、分類とパターン認識への応用を約束する。
  論文  参考訳（メタデータ） (2020-01-06T03:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。