論文の概要: A Counterexample to Fourier Alignment in Single-Neuron Modular Addition
- arxiv url: http://arxiv.org/abs/2608.04451v1
- Date: Wed, 05 Aug 2026 04:56:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.726075
- Title: A Counterexample to Fourier Alignment in Single-Neuron Modular Addition
- Title（参考訳）: 単一ニューロンモジュール付加におけるフーリエアライメントの反例
- Authors: Gautam Neelakantan Memana,
- Abstract要約: まず最初に、初期活性 ReLU ニューロンが有限時間で完全に不活性となる例を構築する。
初期条件の開集合からすべてのクラーク軌道に対して同じ障害が発生することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We give a negative solution to MAIS-O60. We first construct an example in which an initially active ReLU neuron becomes completely inactive in finite time and thereafter remains frozen at a limit whose Fourier energy is equally distributed among all nonzero real frequency classes. The counterexample holds on an open set of initial conditions and therefore occurs with positive probability under Gaussian initialization. An appendix prepared by GPT-5.6 Sol strengthens the counterexample by showing that the same failure can occur for every Clarke trajectory from an open set of initial conditions, under the convention $\mathrm{ReLU}'(0)=0$, for smooth dead-zone approximations of ReLU, and for fixed-step full-batch gradient descent. Thus, single-frequency alignment is not a general consequence of training a single neuron on modular addition.
- Abstract（参考訳）: 我々はMAIS-O60に対して負の解を与える。
まず、初期活性ReLUニューロンが有限時間で完全に不活性となり、その後、フーリエエネルギーがすべての非ゼロ実周波数クラスに等しく分布する極限で凍結する例を構築した。
反例は初期条件の開集合を持ち、したがってガウスの初期化の下で正の確率で生じる。
GPT-5.6 Sol が作成した付録は、ReLU の滑らかな死ゾーン近似と固定ステップのフルバッチ勾配勾配に対する規則 $\mathrm{ReLU}'(0)=0$ の下で、初期条件の開集合から全てのクラーク軌道に対して同じ障害が発生することを示して、反例を強化する。
したがって、単一周波数アライメントは、モジュラー付加において単一ニューロンを訓練する一般的な結果ではない。
関連論文リスト
- On the robustness of noisy solutions in non-convex neural networks [42.548424354574585]
凍結した1ステップのレプリカ対称性を破る解密度は, いずれの温度でも残存することを示した。
有限エネルギーの高密度かつアルゴリズム的にアクセス可能な領域は、許容誤差で増大する閾値$_rm OGP()$まで、$_rm OGP$を超えて持続することを示す。
教師-学生設定では、これらの広い有限エネルギー領域が良い一般化を維持していることを示す。
論文 参考訳（メタデータ） (2026-07-29T14:57:26Z) - Maximal Classicalization of Finite-Group Quantum Reference-Frame Noise [0.0]
グループ値のミスアライメントを持つ有限量子参照トークンは、ランダムなユニタリチャネルを誘導する。
以下の条件が有限群 G のユニタリ表現 U に等しいことを証明している。
論文 参考訳（メタデータ） (2026-07-14T17:07:57Z) - Non-Hermitian Crystalline Braid Topology from Hermitian Projection: A Zero-Mode Resonance Mechanism [0.0]
非エルミート結晶のブレイドトポロジーは射影のみから現れることを示す。
この機構はゼロモード共鳴射影である。
我々は、このメカニズムを正確に解けるモデルで示す。
論文 参考訳（メタデータ） (2026-06-04T18:22:57Z) - Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。
本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
論文 参考訳（メタデータ） (2025-12-31T12:08:29Z) - Exact Coset Sampling for Quantum Lattice Algorithms [9.910562011343009]
複雑なガウス窓を持つ最近のウィンドウ付きQFT格子アルゴリズムのステップ9において、競合する「ドメイン拡張」を簡易に置き換える。
我々の新しいサブルーチンは、未知のオフセットを正確にキャンセルするペアシフト差分によってドメイン拡張を置き換える。
論文 参考訳（メタデータ） (2025-09-15T18:10:28Z) - Finite time path field theory and a new type of universal quantum spin chain quench behavior [0.0]
急激なクエンチと急激なクエンチの差は,摂動の非定常スイッチングが時間とともに指数関数的に消えることを示す。
また、類似の普遍的行動は、障害のクエンチ、そして究極的には大域的行動に存在することを示す。
論文 参考訳（メタデータ） (2025-06-20T18:08:30Z) - Unified Fourier-based Kernel and Nonlinearity Design for Equivariant
Networks on Homogeneous Spaces [52.424621227687894]
等質空間上の群同変ネットワークに対する統一的枠組みを導入する。
昇降した特徴場のフーリエ係数の空間性を利用する。
安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
論文 参考訳（メタデータ） (2022-06-16T17:59:01Z) - The Franke-Gorini-Kossakowski-Lindblad-Sudarshan (FGKLS) Equation for
Two-Dimensional Systems [62.997667081978825]
開量子系は、FGKLS(Franke-Gorini-Kossakowski-Lindblad-Sudarshan)方程式に従うことができる。
我々はヒルベルト空間次元が 2$ である場合を徹底的に研究する。
論文 参考訳（メタデータ） (2022-04-16T07:03:54Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。