論文の概要: SBS: Enhancing Parameter-Efficiency of Neural Representations for Neural Networks via Spectral Bias Suppression

• arxiv url: http://arxiv.org/abs/2509.07373v1
• Date: Tue, 09 Sep 2025 03:48:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.177458
• Title: SBS: Enhancing Parameter-Efficiency of Neural Representations for Neural Networks via Spectral Bias Suppression
• Title（参考訳）: SBS:スペクトルバイアス抑制によるニューラルネットワークのニューラルネットワーク表現のパラメータ効率の向上
• Authors: Qihu Xie, Yuan Li, Yi Kang,
• Abstract要約: ニューラルネットワークのニューラルネットワーク表現を通じて、畳み込みニューラルネットワーク重みを表現するために、暗黙の神経表現が拡張されている。 ニューラルネットワークの神経表現に使用される標準多層パーセプトロンは、顕著なスペクトルバイアスを示す。 本稿では、スペクトルバイアスを抑制するニューラルネットワークのための、パラメータ効率の良いニューラル表現の強化であるSBSを提案する。
• 参考スコア（独自算出の注目度）: 6.410718573605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit neural representations have recently been extended to represent convolutional neural network weights via neural representation for neural networks, offering promising parameter compression benefits. However, standard multi-layer perceptrons used in neural representation for neural networks exhibit a pronounced spectral bias, hampering their ability to reconstruct high-frequency details effectively. In this paper, we propose SBS, a parameter-efficient enhancement to neural representation for neural networks that suppresses spectral bias using two techniques: (1) a unidirectional ordering-based smoothing that improves kernel smoothness in the output space, and (2) unidirectional ordering-based smoothing aware random fourier features that adaptively modulate the frequency bandwidth of input encodings based on layer-wise parameter count. Extensive evaluations on various ResNet models with datasets CIFAR-10, CIFAR-100, and ImageNet, demonstrate that SBS achieves significantly better reconstruction accuracy with less parameters compared to SOTA.
• Abstract（参考訳）: ニューラルネットワークのニューラルネットワーク表現を通じて畳み込みニューラルネットワークの重みを表現するために、暗黙のニューラルネットワーク表現が最近拡張され、有望なパラメータ圧縮の利点を提供している。 しかし、ニューラルネットワークの神経表現に使用される標準的な多層パーセプトロンは、顕著なスペクトルバイアスを示し、高周波の詳細を効率的に再構築する能力を妨げている。 本稿では,(1)出力空間におけるカーネルの平滑性を改善する一方向順序付けに基づく平滑化,(2)階層幅のパラメータ数に基づいて入力符号化の周波数帯域を適応的に変調する一方向順序付けに基づく無作為なランダムなフーリエ特徴の2つの手法を用いて,スペクトルバイアスを抑制するニューラルネットワークのパラメータ効率向上手法であるSBSを提案する。 データセット CIFAR-10, CIFAR-100, ImageNet を用いた各種 ResNet モデルの広範囲な評価により, SBS が SOTA よりも少ないパラメータで再現精度を著しく向上することを示した。

関連論文リスト

• Encoding Optimization for Low-Complexity Spiking Neural Network Equalizers in IM/DD Systems [49.34817254755008]
  スパイキングニューラルネットワーク(SNN)の最適化のための強化学習に基づくアルゴリズムを提案する。 IM/DDシステムにおけるSNNベースの等化器とデマッパーに適用することにより,計算負荷とネットワークサイズを低減し,性能を向上させる。
  論文  参考訳（メタデータ） (2025-08-19T12:32:13Z)
• Training Neural Networks by Optimizing Neuron Positions [39.682133213072554]
  ユークリッド空間にニューロンが埋め込まれたパラメータ効率のよいニューラルネットワークを提案する。 トレーニング中、それらの位置は最適化され、シナプス重みは連結ニューロン間の空間距離の反転として決定される。 これらの距離依存配線規則は、伝統的な学習可能な重量行列を置き換え、生物学的にインスパイアされた誘導バイアスを導入しながらパラメータの数を著しく削減する。
  論文  参考訳（メタデータ） (2025-06-16T12:26:13Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• A Tunable Despeckling Neural Network Stabilized via Diffusion Equation [15.996302571895045]
  ニューラルネットワークの実際のデータへの適応性を判断するための基準として、Adrialversa攻撃を用いることができる。 本稿では,ニューラルネットワークブロックと拡散正則性ブロックを1つのネットワークにアンロールしてエンドツーエンドのトレーニングを行う,チューニング可能な正規化ニューラルネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-24T17:08:43Z)
• Residual resampling-based physics-informed neural network for neutron diffusion equations [7.105073499157097]
  中性子拡散方程式は原子炉の解析において重要な役割を果たす。 従来のPINNアプローチでは、完全に接続されたネットワーク(FCN)アーキテクチャを利用することが多い。 R2-PINNは、現在の方法に固有の制限を効果的に克服し、中性子拡散方程式のより正確で堅牢な解を提供する。
  論文  参考訳（メタデータ） (2024-06-23T13:49:31Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
  スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。 次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
  論文  参考訳（メタデータ） (2023-11-11T13:36:27Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。