論文の概要: Understanding Sinusoidal Neural Networks
- arxiv url: http://arxiv.org/abs/2212.01833v2
- Date: Mon, 11 Sep 2023 17:02:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 22:53:10.167400
- Title: Understanding Sinusoidal Neural Networks
- Title（参考訳）: 正弦波ニューラルネットワークの理解
- Authors: Tiago Novello
- Abstract要約: 活性化関数として正弦波を用いた多層パーセプトロンネットワークの構造と表現能力について検討する。
これらのニューラルネットワークは、コンピュータグラフィックスにおける共通信号の表現において基本となっている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we investigate the structure and representation capacity of
sinusoidal MLPs - multilayer perceptron networks that use sine as the
activation function. These neural networks (known as neural fields) have become
fundamental in representing common signals in computer graphics, such as
images, signed distance functions, and radiance fields. This success can be
primarily attributed to two key properties of sinusoidal MLPs: smoothness and
compactness. These functions are smooth because they arise from the composition
of affine maps with the sine function. This work provides theoretical results
to justify the compactness property of sinusoidal MLPs and provides control
mechanisms in the definition and training of these networks.
We propose to study a sinusoidal MLP by expanding it as a harmonic sum.
First, we observe that its first layer can be seen as a harmonic dictionary,
which we call the input sinusoidal neurons. Then, a hidden layer combines this
dictionary using an affine map and modulates the outputs using the sine, this
results in a special dictionary of sinusoidal neurons. We prove that each of
these sinusoidal neurons expands as a harmonic sum producing a large number of
new frequencies expressed as integer linear combinations of the input
frequencies. Thus, each hidden neuron produces the same frequencies, and the
corresponding amplitudes are completely determined by the hidden affine map. We
also provide an upper bound and a way of sorting these amplitudes that can
control the resulting approximation, allowing us to truncate the corresponding
series. Finally, we present applications for training and initialization of
sinusoidal MLPs. Additionally, we show that if the input neurons are periodic,
then the entire network will be periodic with the same period. We relate these
periodic networks with the Fourier series representation.
- Abstract（参考訳）: 本研究では,サイジンを活性化関数とする正弦波MLP-多層パーセプトロンネットワークの構造と表現能力について検討する。
これらのニューラルネットワーク(ニューラルネットワーク)は、画像、符号付き距離関数、放射場などのコンピュータグラフィックスにおける共通信号の表現において基礎となっている。
この成功は主にsinusoidal MLPの滑らかさとコンパクトさの2つの重要な性質に起因する。
これらの関数は、正弦関数を持つアフィン写像の構成から生じるため、滑らかである。
この研究は、正弦波型MLPのコンパクト性を正当化するための理論的結果を提供し、これらのネットワークの定義と訓練における制御機構を提供する。
調和和として拡張することで正弦波mlpを研究することを提案する。
まず、その第1層は入力正弦波ニューロンと呼ばれる調和辞書と見なすことができる。
すると、隠れた層がアフィンマップを用いてこの辞書を結合し、シンを用いて出力を変調し、これが洞状ニューロンの特別な辞書となる。
これらの正弦波ニューロンは、入力周波数の整数線形結合として表される多数の新しい周波数を生成する高調波和として膨張する。
したがって、各隠れニューロンは同じ周波数を生成し、対応する振幅は隠れアフィンマップによって完全に決定される。
また、上界とこれらの振幅をソートする方法を提供し、その結果の近似を制御でき、対応する級数を切り離すことができる。
最後に,正弦波MLPの訓練と初期化への応用について述べる。
さらに、入力ニューロンが周期的であれば、ネットワーク全体が同じ周期で周期的になることを示す。
これらの周期ネットワークとフーリエ級数表現を関連付ける。
関連論文リスト
- Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
線形表現仮説(LRH)に対する反例を提示する。
入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。
これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
論文 参考訳（メタデータ） (2024-08-20T15:04:37Z) - Taming the Frequency Factory of Sinusoidal Networks [0.9968037829925942]
本稿では,低次元信号の符号化における有望な結果を示す$sinusoidal$sの構造と表現能力について検討する。
我々はこの新しい$identity$を使って信号スペクトルのサンプリングとして機能する入力ニューロンを初期化する。
また、隠れたニューロンは、隠れた重みによって完全に決定された振幅で同じ周波数を発生させる。
論文 参考訳（メタデータ） (2024-07-30T18:24:46Z) - Generative Kaleidoscopic Networks [2.321684718906739]
我々は、このニューラルネットワークの特性を利用して、ジェネレーティブ・カレイドスコープと呼ばれるデータセット・カレイドスコープを設計する。
我々は、CNN、Transformers、U-Netsといった他のディープラーニングアーキテクチャに対して、この現象を様々な程度に観測した。
論文 参考訳（メタデータ） (2024-02-19T02:48:40Z) - Implicit Neural Representation of Tileable Material Textures [1.1203075575217447]
周期的なタイル状テクスチャを表現するために,正弦波ニューラルネットワークを探索する。
正弦波層の合成が周期$P$の整数周波数のみを生成することを証明した。
提案するニューラル暗黙表現はコンパクトであり,高分解能なテクスチャの効率的な再構築を可能にする。
論文 参考訳（メタデータ） (2024-02-03T16:44:25Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳（メタデータ） (2023-03-09T10:08:34Z) - Parallel Hybrid Networks: an interplay between quantum and classical
neural networks [0.0]
我々は、データセットの入力を並列に渡す、新しい解釈可能なハイブリッド量子ニューラルネットワークのクラスを導入する。
この主張は、周期分布からサンプリングされた2つの合成データセットに対して、雑音としてプロテクションを付加したものである。
論文 参考訳（メタデータ） (2023-03-06T15:45:28Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Estimating Multiplicative Relations in Neural Networks [0.0]
対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。
いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
論文 参考訳（メタデータ） (2020-10-28T14:28:24Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Variational Monte Carlo calculations of $\mathbf{A\leq 4}$ nuclei with
an artificial neural-network correlator ansatz [62.997667081978825]
光核の基底状態波動関数をモデル化するためのニューラルネットワーク量子状態アンサッツを導入する。
我々は、Aleq 4$核の結合エネルギーと点核密度を、上位のピオンレス実効場理論から生じるものとして計算する。
論文 参考訳（メタデータ） (2020-07-28T14:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。