論文の概要: Softmax-Free Attention in Spiking Transformers as the Zero-Temperature Limit of Two-Level Systems

• arxiv url: http://arxiv.org/abs/2610.15968v1
• Date: Sun, 11 Oct 2026 22:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 08:19:33.876303
• Title: Softmax-Free Attention in Spiking Transformers as the Zero-Temperature Limit of Two-Level Systems
• Title（参考訳）: 2層系の零温度限界としてのスパイキング変圧器のソフトマックスフリー注意
• Abstract要約: スパイキング変換器は、閾値の2値の注意を優先してソフトマックス正規化を破棄することでエネルギー効率を達成する。 ソフトマックスフリーのスパイクアテンションは、独立二層系の積のゼロ温度制限として正確に動作することを証明した。
• 参考スコア（独自算出の注目度）: 0.8156494881838946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Transformers achieve energy efficiency by discarding softmax normalization in favor of thresholded, binary attention. However, this removal breaks the thermodynamic framework used to analyze attention networks, as the normalized measure and partition function cease to exist. We restore this theoretical foundation by proving that softmax-free spiking attention operates exactly as the zero-temperature limit of a product of independent two-level systems. This correspondence places spiking attention strictly in the frozen ordered phase of the thermodynamic phase diagram for all inputs. Consequently, the entropic cost of organizing attention collapses, replaced by a Landauer-type physical floor governed by action-potential generation. Furthermore, this ordered-phase pinning mathematically explains the optimization difficulty caused by vanishing surrogate gradients. We validate this theory with forward-relaxation experiments, placing both standard and neuromorphic attention mechanisms on a unified thermodynamic axis.
• Abstract（参考訳）: スパイキング変換器は、閾値の2値の注意を優先してソフトマックス正規化を破棄することでエネルギー効率を達成する。 しかし、この除去は、正規化測度と分割関数が存在しないため、注意ネットワークの分析に使用される熱力学の枠組みを破る。 我々は、ソフトマックスフリーのスパイクアテンションが、独立二層系の積のゼロ温度制限として正確に動作することを証明して、この理論の基礎を復元する。 この対応は全ての入力に対して熱力学相図の凍結秩序相に厳密に注意を向ける。 その結果、注意を整理するエントロピーコストが崩壊し、アクション・ポテンシャル生成によって支配されるランダウアー型の物理フロアに置き換えられた。 さらに、この順序相ピンニングは、サロゲート勾配の消失による最適化の難しさを数学的に説明する。 我々は、この理論を前方緩和実験で検証し、標準およびニューロモルフィックな注意機構を統一熱力学軸に配置する。

関連論文リスト

• A note on decoherence in quantum cosmology by thermal perturbations: an open quantum systems approach [51.56484100374058]
  宇宙論的な摂動の熱浴が宇宙の自由度を減らしうるかを研究する。 玩具モデルでは, 熱的寄与に対応する特性デコヒーレンス時間スケールがハッブル時間スケールよりも短いことが判明した。
  論文  参考訳（メタデータ） (2026-10-08T07:27:39Z)
• Engineered Dissipation for Thermal-State Tracking Across Quantum Criticality [0.0]
  非負の遷移速度を持つ工学的人口電流に基づく有限時間熱状態追跡のためのフレームワークを開発する。 単体動力学や自然熱浴と比較すると、工学的力学は熱励起偏差を強く抑制する。 これらの結果は、駆動量子臨界系における熱状態生成を制御するための経路として、工学的な散逸に向けられている。
  論文  参考訳（メタデータ） (2026-09-30T06:25:04Z)
• Far-field spatial coherence driven by lossy objects: first-principles approach unifying scattering of quantum light and thermal emission [51.56484100374058]
  我々は、量子光の散乱と有限散逸対象の本質的な熱放射を統一するために、改良されたランゲヴィンノイズフォーマリズムに基づく第一原理フレームワークを開発する。 このフレームワークを光レシエーションに適用することにより、損失のある量子フォトニクスの動作境界を決定する。
  論文  参考訳（メタデータ） (2026-07-01T09:04:32Z)
• A closed system setting for quantum thermalisation in free fermions [0.13999481573773073]
  クローズド量子環境下での熱化とMpemba効果の発生について検討した。 このセットアップは、温度クエンチの単純な量子化を提供する。 システムによって示される真の非平衡力学にもかかわらず、この設定ではムペンバ効果は生じない。
  論文  参考訳（メタデータ） (2026-06-04T16:31:03Z)
• Entropic Barriers and the Kinetic Suppression of Topological Defects [0.0]
  エントロピー保護の相補的な機構について検討し,M$の補助次元貯水池との結合により欠陥核形成を抑制する。 イジング連鎖において、これは温度の関数としての相関長の特徴的な3つのレジーム進化を生み出す。 いずれにせよ,エントロピー保護は,有限系サイズでの安定化を強く促進できることを示す。
  論文  参考訳（メタデータ） (2026-02-18T19:00:02Z)
• Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics [0.0]
  シャノン-ボルツマンエントロピーの枠組みの中では、ソフトマックス関数はヘルムホルツ自由エネルギー関数を最小化する定常解として現れる。 このマッピングをマクロな観測対象に拡張し、注意エネルギー景観のゆらぎに関連する有効な比熱を定義する。 我々のフレームワークは、注意スケーリング、トレーニングダイナミクス、位置エンコーディングに関する統一的な統計的・機械的な視点を提供する。
  論文  参考訳（メタデータ） (2026-02-09T02:42:36Z)
• Thermalization and Criticality on an Analog-Digital Quantum Simulator [133.58336306417294]
  本稿では,69個の超伝導量子ビットからなる量子シミュレータについて述べる。 古典的Kosterlitz-Thouless相転移のシグネチャと,Kibble-Zurekスケール予測からの強い偏差を観測する。 本システムは, 対角二量体状態でディジタル的に調製し, 熱化時のエネルギーと渦の輸送を画像化する。
  論文  参考訳（メタデータ） (2024-05-27T17:40:39Z)
• On optimization of coherent and incoherent controls for two-level quantum systems [77.34726150561087]
  本稿では、閉かつオープンな2レベル量子系の制御問題について考察する。 閉系の力学は、コヒーレント制御を持つシュリンガー方程式によって支配される。 開系の力学はゴリーニ=コサコフスキー=スダルシャン=リンドブラッドのマスター方程式によって支配される。
  論文  参考訳（メタデータ） (2022-05-05T09:08:03Z)
• Open-system approach to nonequilibrium quantum thermodynamics at arbitrary coupling [77.34726150561087]
  熱浴に結合したオープン量子系の熱力学挙動を記述する一般的な理論を開発する。 我々のアプローチは、縮小された開系状態に対する正確な時間局所量子マスター方程式に基づいている。
  論文  参考訳（メタデータ） (2021-09-24T11:19:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。