Fugu-MT 論文翻訳(概要): Understanding Sinusoidal Neural Networks

論文の概要: Understanding Sinusoidal Neural Networks

arxiv url: http://arxiv.org/abs/2212.01833v1
Date: Sun, 4 Dec 2022 14:50:22 GMT
ステータス: 処理完了
システム内更新日: 2022-12-06 18:09:37.442434
Title: Understanding Sinusoidal Neural Networks
Title（参考訳）: 正弦波ニューラルネットワークの理解
Authors: Tiago Novello
Abstract要約: ネットワークの第1層の重みの線形結合によって与えられる多数の新しい周波数からなる罪の和として,正弦波層の構成が拡大することを示す。ベッセル関数の観点から対応する振幅の式を提供し、その結果の近似を制御できる上限を与える。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work, we investigate the representation capacity of multilayer perceptron networks that use the sine as activation function - sinusoidal neural networks. We show that the layer composition in such networks compacts information. For this, we prove that the composition of sinusoidal layers expands as a sum of sines consisting of a large number of new frequencies given by linear combinations of the weights of the network's first layer. We provide the expression of the corresponding amplitudes in terms of the Bessel functions and give an upper bound for them that can be used to control the resulting approximation.
Abstract（参考訳）: 本研究では,正弦波ニューラルネットを活性化関数として用いる多層パーセプトロンネットワークの表現能力について検討する。このようなネットワークの層構成が情報をコンパクト化することを示す。そこで本研究では,ネットワークの第1層重みの線形結合によって与えられる多数の新しい周波数からなるサイネの和として正弦波層の組成が膨張することを示す。我々は、対応する振幅をベッセル関数の項で表現し、それらの上界を与え、その結果の近似を制御できる。

関連論文リスト

Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
線形表現仮説(LRH)に対する反例を提示する。入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
論文参考訳（メタデータ） (2024-08-20T15:04:37Z)
Taming the Frequency Factory of Sinusoidal Networks [0.9968037829925942]
本稿では,低次元信号の符号化における有望な結果を示す$sinusoidal$sの構造と表現能力について検討する。我々はこの新しい$identity$を使って信号スペクトルのサンプリングとして機能する入力ニューロンを初期化する。また、隠れたニューロンは、隠れた重みによって完全に決定された振幅で同じ周波数を発生させる。
論文参考訳（メタデータ） (2024-07-30T18:24:46Z)
Generative Kaleidoscopic Networks [2.321684718906739]
我々は、このニューラルネットワークの特性を利用して、ジェネレーティブ・カレイドスコープと呼ばれるデータセット・カレイドスコープを設計する。我々は、CNN、Transformers、U-Netsといった他のディープラーニングアーキテクチャに対して、この現象を様々な程度に観測した。
論文参考訳（メタデータ） (2024-02-19T02:48:40Z)
Implicit Neural Representation of Tileable Material Textures [1.1203075575217447]
周期的なタイル状テクスチャを表現するために,正弦波ニューラルネットワークを探索する。正弦波層の合成が周期$P$の整数周波数のみを生成することを証明した。提案するニューラル暗黙表現はコンパクトであり,高分解能なテクスチャの効率的な再構築を可能にする。
論文参考訳（メタデータ） (2024-02-03T16:44:25Z)
Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文参考訳（メタデータ） (2023-03-09T10:08:34Z)
Parallel Hybrid Networks: an interplay between quantum and classical neural networks [0.0]
我々は、データセットの入力を並列に渡す、新しい解釈可能なハイブリッド量子ニューラルネットワークのクラスを導入する。この主張は、周期分布からサンプリングされた2つの合成データセットに対して、雑音としてプロテクションを付加したものである。
論文参考訳（メタデータ） (2023-03-06T15:45:28Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Estimating Multiplicative Relations in Neural Networks [0.0]
対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
論文参考訳（メタデータ） (2020-10-28T14:28:24Z)
Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-19T15:28:00Z)
Variational Monte Carlo calculations of $\mathbf{A\leq 4}$ nuclei with an artificial neural-network correlator ansatz [62.997667081978825]
光核の基底状態波動関数をモデル化するためのニューラルネットワーク量子状態アンサッツを導入する。我々は、Aleq 4$核の結合エネルギーと点核密度を、上位のピオンレス実効場理論から生じるものとして計算する。
論文参考訳（メタデータ） (2020-07-28T14:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。