論文の概要: Spectral Gating Networks

• arxiv url: http://arxiv.org/abs/2602.07679v1
• Date: Sat, 07 Feb 2026 20:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.757107
• Title: Spectral Gating Networks
• Title（参考訳）: 分光ゲーティングネットワーク
• Authors: Jusheng Zhang, Yijia Fan, Kaitong Cai, Jing Yang, Yongsen Zheng, Kwok-Yan Lam, Liang Lin, Keze Wang,
• Abstract要約: 我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。 SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。 計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
• 参考スコア（独自算出の注目度）: 65.9496901693099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gating mechanisms are ubiquitous, yet a complementary question in feed-forward networks remains under-explored: how to introduce frequency-rich expressivity without sacrificing stability and scalability? This tension is exposed by spline-based Kolmogorov-Arnold Network (KAN) parameterizations, where grid refinement can induce parameter growth and brittle optimization in high dimensions. To propose a stability-preserving way to inject spectral capacity into existing MLP/FFN layers under fixed parameter and training budgets, we introduce Spectral Gating Networks (SGN), a drop-in spectral reparameterization. SGN augments a standard activation pathway with a compact spectral pathway and learnable gates that allow the model to start from a stable base behavior and progressively allocate capacity to spectral features during training. The spectral pathway is instantiated with trainable Random Fourier Features (learned frequencies and phases), replacing grid-based splines and removing resolution dependence. A hybrid GELU-Fourier formulation further improves optimization robustness while enhancing high-frequency fidelity. Across vision, NLP, audio, and PDE benchmarks, SGN consistently improves accuracy-efficiency trade-offs under comparable computational budgets, achieving 93.15% accuracy on CIFAR-10 and up to 11.7x faster inference than spline-based KAN variants. Code and trained models will be released.
• Abstract（参考訳）: ゲーティングメカニズムはユビキタスだが、フィードフォワードネットワークにおける補完的な問題として、安定性とスケーラビリティを犠牲にすることなく、いかにして周波数リッチな表現性を導入するか? この張力はスプラインベースのコルモゴロフ・アルノルドネットワーク(KAN)パラメータ化によって露呈される。 固定パラメータとトレーニング予算の下で既存のMLP/FFN層にスペクトルキャパシティを注入する安定性保存手法を提案するため,分光ゲーティングネットワーク(SGN, Spectral Gating Networks)を導入する。 SGNは、コンパクトなスペクトル経路と学習可能なゲートで標準的なアクティベーションパスを強化し、モデルが安定したベース動作から始まり、トレーニング中にスペクトル特徴に徐々にキャパシティを割り当てることを可能にする。 スペクトル経路はトレーニング可能なランダムフーリエ特徴(学習周波数と位相)でインスタンス化され、グリッドベースのスプラインを置き換え、解像度依存を除去する。 ハイブリッドGELU-Fourierの定式化により、高周波忠実度を高めながら、最適化の堅牢性がさらに向上する。 ビジョン、NLP、オーディオ、PDEベンチマーク全体にわたって、SGNは同等の計算予算の下で精度と効率のトレードオフを一貫して改善し、CIFAR-10では93.15%の精度で、スプラインベースのKanよりも最大11.7倍高速な推論を実現している。 コードとトレーニングされたモデルがリリースされる。

関連論文リスト

• A Unified Matrix-Spectral Framework for Stability and Interpretability in Deep Learning [0.0]
  我々は、ディープニューラルネットワークの安定性と解釈可能性を分析する統一的なフレームワークを開発する。 我々は,ジャコビアン,パラメータ勾配,ニューラルタンジェントカーネル演算子,ロスヘッセンのスペクトル情報を単一の安定性尺度に集約するグローバルマトリックス安定度指数を導入する。
  論文  参考訳（メタデータ） (2026-02-01T10:18:37Z)
• Natural Spectral Fusion: p-Exponent Cyclic Scheduling and Early Decision-Boundary Alignment in First-Order Optimization [11.323131201168572]
  自然スペクトル融合(NSF: Natural Spectral Fusion: NSF: Reframing training as controllable spectrum coverage and information fusion)を提案する。 NSFには2つの基本原理がある: バランスを動的に低周波と高周波の情報を扱うスペクトルコントローラとして扱う。 循環スケジューリングはテストエラーを一定に低減し、異なる収束挙動を示す。
  論文  参考訳（メタデータ） (2025-09-05T00:00:00Z)
• SpectrumFM: Redefining Spectrum Cognition via Foundation Modeling [65.65474629224558]
  本稿ではスペクトル認識のための新しいパラダイムを提供するスペクトルFMと呼ばれるスペクトル基盤モデルを提案する。 畳み込みニューラルネットワークを利用した革新的なスペクトルエンコーダを提案し、スペクトルデータにおける微細な局所信号構造と高レベルのグローバルな依存関係の両方を効果的に捕捉する。 2つの新しい自己教師型学習タスク、すなわちマスク付き再構成と次のスロット信号予測が、SpectrumFMの事前学習のために開発され、モデルがリッチで伝達可能な表現を学習できるようにする。
  論文  参考訳（メタデータ） (2025-08-02T14:40:50Z)
• SpectrumFM: A Foundation Model for Intelligent Spectrum Management [99.08036558911242]
  既存のインテリジェントスペクトル管理手法は、通常は小規模モデルに基づいており、認識精度、収束速度、一般化の顕著な制限に悩まされている。 本稿では、スペクトルFMと呼ばれる新しいスペクトル基盤モデルを提案し、スペクトル管理のための新しいパラダイムを確立する。 実験により、SpectrumFMは精度、堅牢性、適応性、少数ショット学習効率、収束速度の点で優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-05-02T04:06:39Z)
• Sparse Hyperparametric Itakura-Saito NMF via Bi-Level Optimization [1.5379084885764847]
  そこで我々は,行依存のペナルティハイパーパラメータを自動的に適応的に調整する二段階最適化フレームワーク「ShinBO」を提案する。 実験の結果,ShinBOは正確なスペクトル分解を保証し,合成および実世界の双方で優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2025-02-24T13:05:01Z)
• Holistic Physics Solver: Learning PDEs in a Unified Spectral-Physical Space [54.13671100638092]
  Holistic Physics Mixer (HPM) は、スペクトルと物理情報を統一された空間に統合するためのフレームワークである。 我々はHPMが精度と計算効率の両面で最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:19:39Z)
• Spectral Adapter: Fine-Tuning in Spectral Space [45.72323731094864]
  本研究では, 既訓練重量行列のスペクトル情報を微調整手順に組み込むことにより, 現在のPEFT法の強化について検討した。 提案するファインチューニングモデルにより,パラメータ効率とチューニング性能が向上し,マルチアダプタ融合のメリットが期待できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T19:36:55Z)
• Hybrid Spectral Denoising Transformer with Guided Attention [34.34075175179669]
  ハイブリットスペクトルデノナイジング用ハイブリットスペクトルデノナイジングトランス(HSDT)を提案する。 我々のHSDTは、計算オーバーヘッドを低く保ちながら、既存の最先端手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-03-16T02:24:31Z)
• Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
  重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。 分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
  論文  参考訳（メタデータ） (2021-03-07T00:15:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。