論文の概要: Improving Accuracy and Efficiency of Implicit Neural Representations: Making SIREN a WINNER
- arxiv url: http://arxiv.org/abs/2509.12980v1
- Date: Tue, 16 Sep 2025 11:41:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-17 17:50:53.060611
- Title: Improving Accuracy and Efficiency of Implicit Neural Representations: Making SIREN a WINNER
- Title（参考訳）: 入射ニューラル表現の精度と効率の向上--SIRENをWiNNERに
- Authors: Hemanth Chandravamsi, Dhanush V. Shenoy, Steven H. Frankel,
- Abstract要約: 我々は正弦波表現ネットワーク(SIREN)の基本的制限を特定し、対処する。
極端な場合、ネットワークの周波数サポートがターゲットスペクトルと不一致した場合、「スペクトルボトルネック」が観測される。
ニューラル表現のためのノイズ付きウェイト初期化を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We identify and address a fundamental limitation of sinusoidal representation networks (SIRENs), a class of implicit neural representations. SIRENs Sitzmann et al. (2020), when not initialized appropriately, can struggle at fitting signals that fall outside their frequency support. In extreme cases, when the network's frequency support misaligns with the target spectrum, a 'spectral bottleneck' phenomenon is observed, where the model yields to a near-zero output and fails to recover even the frequency components that are within its representational capacity. To overcome this, we propose WINNER - Weight Initialization with Noise for Neural Representations. WINNER perturbs uniformly initialized weights of base SIREN with Gaussian noise - whose noise scales are adaptively determined by the spectral centroid of the target signal. Similar to random Fourier embeddings, this mitigates 'spectral bias' but without introducing additional trainable parameters. Our method achieves state-of-the-art audio fitting and significant gains in image and 3D shape fitting tasks over base SIREN. Beyond signal fitting, WINNER suggests new avenues in adaptive, target-aware initialization strategies for optimizing deep neural network training. For code and data visit cfdlabtechnion.github.io/siren_square/.
- Abstract（参考訳）: 我々は,暗黙的表現のクラスである正弦波表現ネットワーク(SIREN)の基本的制限を特定し,対処する。
SIRENs Sitzmann et al (2020) は、初期化されていないが、周波数サポート外にある信号の適合に苦慮している。
極端な場合、ネットワークの周波数サポートがターゲットスペクトルと不一致の場合には、「スペクトルボトルネック」現象が観測され、モデルがほぼゼロの出力となり、その表現能力内にある周波数コンポーネントの回復に失敗する。
これを解決するために,ニューラル表現のためのノイズを用いたWINNER-Weight Initializationを提案する。
WINNERの摂動は、ターゲット信号のスペクトルセントロイドによってノイズスケールが適応的に決定されるガウス雑音によるベースSIRENの一様初期化重みである。
ランダムなフーリエ埋め込みと同様に、これは'スペクトルバイアス'を緩和するが、追加のトレーニング可能なパラメータを導入しない。
提案手法は,SIRENをベースとした画像および3次元形状適合タスクにおいて,最先端のオーディオ適合性と顕著な向上を実現している。
WINNERは信号フィッティング以外にも、ディープニューラルネットワークトレーニングを最適化するための適応的でターゲット対応のイニシャライゼーション戦略の新たな道を提案する。
コードとデータについては、cfdlabtechnion.github.io/siren_square/を参照してください。
関連論文リスト
- Spectral Bottleneck in Deep Neural Networks: Noise is All You Need [0.0]
本稿では,スペクトルのボトルネックの影響を受けやすい高周波優先信号の適合性について検討する。
周波数の内容に関わらず、任意のターゲット信号に効果的に適合させるため、一般化されたターゲット摂動スキームを提案する。
本研究では,ネットワーク活性化スペクトルと経験的ニューラル・タンジェント・カーネルの固有ベイジを制御できることを示す。
論文 参考訳（メタデータ） (2025-09-09T22:16:24Z) - FLAIR: Frequency- and Locality-Aware Implicit Neural Representations [13.614373731196272]
Implicit Representations (INR) はニューラルネットワークを利用して、座標を対応する信号にマッピングし、連続的かつコンパクトな表現を可能にする。
既存のINRは周波数選択性、空間的局所化、スパース表現に欠けており、冗長な信号成分への過度な依存につながっている。
本稿では2つの重要なイノベーションを取り入れたFLAIR(Frequency- and Locality-Aware Implicit Representations)を提案する。
論文 参考訳（メタデータ） (2025-08-19T06:06:04Z) - STAF: Sinusoidal Trainable Activation Functions for Implicit Neural Representation [7.2888019138115245]
Inlicit Neural Representations (INR) は、連続的な信号をモデリングするための強力なフレームワークとして登場した。
ReLUベースのネットワークのスペクトルバイアスは、十分に確立された制限であり、ターゲット信号の微細な詳細を捕捉する能力を制限する。
Sinusoidal Trainable Function Activation (STAF)について紹介する。
STAFは本質的に周波数成分を変調し、自己適応型スペクトル学習を可能にする。
論文 参考訳（メタデータ） (2025-02-02T18:29:33Z) - Tuning the Frequencies: Robust Training for Sinusoidal Neural Networks [1.5124439914522694]
正弦波ネットワークの容量特性を説明する理論的枠組みを導入する。
入力周波数の整数結合として表される多数の新しい周波数を,その層組成によってどのように生成するかを示す。
提案手法はTUNERと呼ばれ, 正弦波INRトレーニングの安定性と収束性を大幅に改善し, より詳細な再建を行った。
論文 参考訳（メタデータ） (2024-07-30T18:24:46Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳（メタデータ） (2022-09-29T04:06:00Z) - Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
入射神経表現は、一般的な信号を表す新しい道である。
現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。
メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
論文 参考訳（メタデータ） (2021-10-27T18:02:53Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳（メタデータ） (2021-03-01T08:25:26Z) - Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。
我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。
私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
論文 参考訳（メタデータ） (2020-11-17T12:52:18Z) - Conditioning Trick for Training Stable GANs [70.15099665710336]
本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。
我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
論文 参考訳（メタデータ） (2020-10-12T16:50:22Z) - Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。
アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。
また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
論文 参考訳（メタデータ） (2020-06-21T11:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。