論文の概要: Learnable Spectral Activations

• arxiv url: http://arxiv.org/abs/2610.07419v1
• Date: Mon, 05 Oct 2026 21:29:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.67763
• Title: Learnable Spectral Activations
• Title（参考訳）: 学習可能なスペクトル活性化
• Abstract要約: 入射神経表現(INR)は、入力エンコーディングとアクティベーション関数によって誘導されるスペクトル構造によって形成される。 我々は、固定されたニューロンレベルの非線形性を置き換える学習可能なスペクトルアクティベーション(LSA)を導入する。 この因子化は、ニューラル・タンジェント・カーネルの先頭の固有モードにより多くの目標信号エネルギーを集中させる。
• 参考スコア（独自算出の注目度）: 14.648146760739763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Implicit neural representations (INRs) are shaped by the spectral structure induced by their input encodings and activation functions. Existing methods improve fitting primarily by modifying which frequencies are available to the network, through coordinate encodings or periodic nonlinearities. However, frequency access is not the only bottleneck: signals with localized or spatially varying structure require the network to efficiently compose frequencies into multi-harmonic internal responses. We introduce learnable spectral activations (LSA), which replace fixed neuron-level nonlinearities with a residual truncated Fourier series whose harmonic amplitudes are learned during training. LSA does not expand the asymptotic function class. Instead, it changes the factorization of the representation: linear weights select features while activation coefficients control spectral shaping, and the two are updated by separate gradients. Because the activation output is affine in the coefficients given fixed pre-activations, spectral tuning becomes a more direct subproblem compared to architectures where it is entangled with feature selection. Empirically, this factorization concentrates more target-signal energy in the leading eigenmodes of the neural tangent kernel, consistent with improved optimization behavior. Across audio, image, neural radiance field, and neural acoustic field tasks, LSA also improves reconstruction quality.
• Abstract（参考訳）: 入射神経表現(INR)は、入力エンコーディングとアクティベーション関数によって誘導されるスペクトル構造によって形成される。 既存の方法は、コーディネートエンコーディングや周期的非線形性を通じて、どの周波数がネットワークで利用可能かを変更することで、フィッティングを改善する。 しかし、周波数アクセスは唯一のボトルネックではなく、局所的または空間的に変化する構造を持つ信号は、周波数を効率よくマルチハーモニックな内部応答に構成する必要がある。 学習可能なスペクトルアクティベーション (LSA) を導入し, トレーニング中に高調波振幅が学習される残トラッピングフーリエ級数に置き換えた。 LSAは漸近機能クラスを拡張しない。 線形重みは特徴を選別し、アクティベーション係数はスペクトル整形を制御する。 アクティベーション出力は固定されたプレアクティベーションの係数にアフィンであるため、スペクトルチューニングは特徴選択に絡み合ったアーキテクチャに比べて、より直接的なサブプロブレムとなる。 実験的に、この因子化は、最適化挙動の改善と整合して、ニューラル・タンジェント・カーネルの先頭の固有モードにおいて、より標的信号エネルギーを集中させる。 オーディオ、画像、ニューラルラディアンスフィールド、およびニューラルアコースティックフィールドタスク全体にわたって、LSAは再構築品質も改善する。

関連論文リスト

• Adaptive Local Frequency Filtering for Fourier-Encoded Implicit Neural Representations [7.7579389797716365]
  フーリエ符号化INRに対する適応型局所周波数フィルタリング法を提案する。 提案手法では,エンコードされたフーリエ成分を変調するために,空間的に変化するパラメータ $(mathbfx)$ を導入する。 2次元画像整合、3次元形状表現、スパースデータ再構成の実験は、提案手法が常に再現品質を向上させることを示す。
  論文  参考訳（メタデータ） (2026-04-03T08:04:30Z)
• FUTON: Fourier Tensor Network for Implicit Neural Representations [56.48739018255443]
  入射神経表現(INR)はシグナルを符号化する強力なツールとして現れてきたが、支配的な設計はしばしば収束が遅く、ノイズに過度に適応し、外挿が不十分である。 低ランクテンソル分解により係数がパラメータ化される一般化フーリエ級数として信号をモデル化するFUTONを導入する。
  論文  参考訳（メタデータ） (2026-02-13T19:31:44Z)
• Neuromorphic Wireless Split Computing with Resonate-and-Fire Neurons [69.73249913506042]
  本稿では、共振器(RF)ニューロンを用いて時間領域信号を直接処理する無線スプリットコンピューティングアーキテクチャについて検討する。 可変周波数で共鳴することにより、RFニューロンは低スパイク活性を維持しながら時間局在スペクトル特徴を抽出する。 実験の結果,提案したRF-SNNアーキテクチャは従来のLIF-SNNやANNと同等の精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-06-24T21:14:59Z)
• LOGLO-FNO: Efficient Learning of Local and Global Features in Fourier Neural Operators [20.77877474840923]
  高周波情報は機械学習における重要な課題である。 ディープニューラルネットワークは、低周波成分の学習に対するいわゆるスペクトルバイアスを示す。 放射結合スペクトル誤差に基づく新しい周波数感受性損失項を提案する。
  論文  参考訳（メタデータ） (2025-04-05T19:35:04Z)
• Holistic Physics Solver: Learning PDEs in a Unified Spectral-Physical Space [54.13671100638092]
  Holistic Physics Mixer (HPM) は、スペクトルと物理情報を統一された空間に統合するためのフレームワークである。 我々はHPMが精度と計算効率の両面で最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:19:39Z)
• FINER++: Building a Family of Variable-periodic Functions for Activating Implicit Neural Representation [39.116375158815515]
  Inlicit Neural Representation (INR)は、信号処理の分野で革命を引き起こしている。 INR技術は「周波数」特定スペクトルバイアスとキャパシティ・コンバージェンスギャップに悩まされる。 既存の周期的/非周期的アクティベーション関数を可変周期的関数に拡張することにより、FINER++フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-28T09:24:57Z)
• FINER: Flexible spectral-bias tuning in Implicit NEural Representation by Variable-periodic Activation Functions [40.80112550091512]
  暗黙の神経表現は、信号処理の分野で革命を引き起こしている。 現在のINR技術は、サポートされた周波数セットをチューニングする制限された能力に悩まされている。 本稿では,FINERを提案する可変周期アクティベーション関数を提案する。 本研究では,FINERの2次元画像適合性,3次元符号付き距離場表現,および5次元ニューラル場放射率最適化の文脈における機能を示す。
  論文  参考訳（メタデータ） (2023-12-05T02:23:41Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics [2.9443230571766854]
  本稿では,ReLUネットワークの計算結果と勾配勾配収束速度の関連性について検討する。 次に、この定式化を用いて、低次元設定におけるスペクトルバイアスの重症度と位置符号化がこれを克服する方法について研究する。
  論文  参考訳（メタデータ） (2023-01-14T04:21:25Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。