論文の概要: The Phase Is the Gradient: Equilibrium Propagation for Frequency Learning in Kuramoto Networks
- arxiv url: http://arxiv.org/abs/2604.10272v1
- Date: Sat, 11 Apr 2026 16:28:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:15.93184
- Title: The Phase Is the Gradient: Equilibrium Propagation for Frequency Learning in Kuramoto Networks
- Title(参考訳): 段階はグラディエント--倉本ネットワークにおける周波数学習のための平衡伝播
- Authors: Mani Rash Ahmadi,
- Abstract要約: 安定平衡の内蔵本発振器ネットワークにおいて、弱い出力ヌーディングの下での物理位相変位は、自然周波数に対する損失の勾配であることを示す。
疎層構造において、周波数学習は収束種子間の結合重み付け学習よりも優れることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove that in a coupled Kuramoto oscillator network at stable equilibrium, the physical phase displacement under weak output nudging is the gradient of the loss with respect to natural frequencies, with equality as the nudging strength beta tends to zero. Prior oscillator equilibrium propagation work explicitly set aside natural frequency as a learnable parameter; we show that on sparse layered architectures, frequency learning outperforms coupling-weight learning among converged seeds (96.0% vs. 83.3% at matched parameter counts, p = 1.8e-12). The approximately 50% convergence failure rate under random initialization is a loss-landscape property, not a gradient error; topology-aware spectral seeding eliminates it in all settings tested (46/100 to 100/100 seeds on the primary task; 50/50 on a second task, K-only training, and a larger architecture).
- Abstract(参考訳): 安定平衡の内蔵本発振器ネットワークにおいて、弱出力ヌードの物理位相変位は自然周波数に対する損失の勾配であり、ヌード強度ベータがゼロとなる傾向が等しいことを証明した。
先行振動子平衡伝播作業は、自然周波数を学習可能なパラメータとして明示的に設定し、疎層構造では、周波数学習は収束した種子間での結合重み学習(96.0%対83.3%、p = 1.8e-12)より優れることを示した。
ランダム初期化時の約50%の収束失敗率は、勾配誤差ではなく、損失ランドスケープ特性であり、トポロジーを意識したスペクトルシードは、テストされたすべての設定で除去する(一次タスクでは46/100から100、第二タスクでは50/50、Kのみのトレーニング、より大きなアーキテクチャ)。
関連論文リスト
- Statistical Properties of the King Wen Sequence: An Anti-Habituation Structure That Does Not Improve Neural Network Training [0.0]
紀元前1000年頃の王ウェンの列は64ヘクサグラムを注文し、3千年にわたって学者を困惑させた。
この系列は4つの統計的に重要な性質を持つ。
これらの性質はカリキュラムの学習や好奇心を駆使した探索の原理に似ており、ニューラルネットワークのトレーニングに役立つかもしれないという仮説を動機付けている。
論文 参考訳(メタデータ) (2026-04-10T11:44:09Z) - Beta-Scheduling: Momentum from Critical Damping as a Diagnostic and Correction Tool for Neural Network Training [0.0]
標準ニューラルネットワークトレーニングでは、1964年までの規則である定数運動量(典型的には0.9)を用いており、その最適性について理論的に限定されている。
このベータスケジュールは、既存の学習率スケジュールを超えて、ゼロのフリーパラメータを必要とする。
ResNet-18/CIFAR-10では、ベータスケジューリングにより、一定の運動量よりも90%の精度で1.9倍の収束が得られる。
論文 参考訳(メタデータ) (2026-03-30T18:53:03Z) - The Coordinate System Problem in Persistent Structural Memory for Neural Architectures [0.0]
そこで我々はDual-View Pheromone Pathway Network (DPPN)を紹介した。
永続メモリは安定した座標系を必要とする。
コントラスト的な更新,マルチソース蒸留,ハンガリーのアライメント,セマンティックな分解は,スクラッチから埋め込みが学習された場合の不安定性を解消しないことを示す。
論文 参考訳(メタデータ) (2026-03-24T06:51:59Z) - Robust Residual Finite Scalar Quantization for Neural Compression [46.574899938569125]
有限スカラー量子化(FSQ)は、簡易なトレーニングを提供するが、多段階設定での残留等級劣化に悩まされる。
本稿では,2つの新しい条件付け手法を用いて,この基本的な制限に対処するロバスト残留有限スカラー量子化(RFSQ)を提案する。
RFSQの有効性と一般化性を示す。
論文 参考訳(メタデータ) (2025-08-20T15:18:59Z) - The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。
この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
論文 参考訳(メタデータ) (2025-06-16T08:35:16Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - Theoretical Characterization of How Neural Network Pruning Affects its
Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。
プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。
より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文 参考訳(メタデータ) (2023-01-01T03:10:45Z) - (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。
これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
論文 参考訳(メタデータ) (2022-06-21T17:27:27Z) - Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。
結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
論文 参考訳(メタデータ) (2021-07-21T16:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。