論文の概要: Efficient Neural Networks with Discrete Cosine Transform Activations

• arxiv url: http://arxiv.org/abs/2511.03531v1
• Date: Wed, 05 Nov 2025 15:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.455234
• Title: Efficient Neural Networks with Discrete Cosine Transform Activations
• Title（参考訳）: 離散コサイン変換活性化を用いた高能率ニューラルネットワーク
• Authors: Marc Martinez-Gost, Sara Pepe, Ana Pérez-Neira, Miguel Ángel Lagunas,
• Abstract要約: Expressive Neural Network(ENN)は、離散コサイン変換(DCT)を用いた適応活性化関数を持つ多層パーセプトロンである。 ENNは,少ないパラメータ数を維持しつつ,最先端の精度を実現していることを示す。
• 参考スコア（独自算出の注目度）: 0.6933076588916188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we extend our previous work on the Expressive Neural Network (ENN), a multilayer perceptron with adaptive activation functions parametrized using the Discrete Cosine Transform (DCT). Building upon previous work that demonstrated the strong expressiveness of ENNs with compact architectures, we now emphasize their efficiency, interpretability and pruning capabilities. The DCT-based parameterization provides a structured and decorrelated representation that reveals the functional role of each neuron and allows direct identification of redundant components. Leveraging this property, we propose an efficient pruning strategy that removes unnecessary DCT coefficients with negligible or no loss in performance. Experimental results across classification and implicit neural representation tasks confirm that ENNs achieve state-of-the-art accuracy while maintaining a low number of parameters. Furthermore, up to 40% of the activation coefficients can be safely pruned, thanks to the orthogonality and bounded nature of the DCT basis. Overall, these findings demonstrate that the ENN framework offers a principled integration of signal processing concepts into neural network design, achieving a balanced trade-off between expressiveness, compactness, and interpretability.
• Abstract（参考訳）: 本稿では、離散コサイン変換(DCT)を用いて、適応的アクティベーション機能を持つ多層パーセプトロンであるExpressive Neural Network(ENN)について、これまでの研究を拡張した。 コンパクトアーキテクチャによるENNの強い表現力を示す以前の研究に基づいて、我々はその効率性、解釈可能性、およびプルーニング能力を強調した。 DCTに基づくパラメータ化は、各ニューロンの機能的役割を明らかにし、冗長成分の直接同定を可能にする構造的かつ非相関的な表現を提供する。 この特性を生かして、不要なDCT係数を無視あるいは失うことなく除去する効率的なプルーニング戦略を提案する。 分類や暗黙的な神経表現タスクによる実験結果から、ERNが低い数のパラメータを維持しながら最先端の精度を達成できることが確認された。 さらに、DCT基底の直交性と有界性のおかげで、最大40%の活性化係数を安全に切断することができる。 これらの結果から、ENNフレームワークは信号処理の概念をニューラルネットワーク設計に原則的に統合し、表現性、コンパクト性、解釈性の間のバランスの取れたトレードオフを実現することが示されている。

関連論文リスト

• Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
  本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:12:26Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• Fractional Concepts in Neural Networks: Enhancing Activation Functions [0.6445605125467574]
  本研究では、活性化関数のチューナブルパラメータとして分数次微分(FDO)を導入することにより、分数計算をニューラルネットワークに統合する。 各種データセットおよびネットワークアーキテクチャ上でのこれらの分数活性化関数の評価を行い、それらの性能と従来型および新しいアクティベーション関数との比較を行った。
  論文  参考訳（メタデータ） (2023-10-18T10:49:29Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• A Robust Backpropagation-Free Framework for Images [47.97322346441165]
  画像データに対するエラーカーネル駆動型アクティベーションアライメントアルゴリズムを提案する。 EKDAAは、ローカルに派生したエラー送信カーネルとエラーマップを導入することで達成される。 結果は、識別不能なアクティベーション機能を利用するEKDAAトレーニングCNNに対して提示される。
  論文  参考訳（メタデータ） (2022-06-03T21:14:10Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。