Fugu-MT 論文翻訳(概要): Taming the Frequency Factory of Sinusoidal Networks

論文の概要: Taming the Frequency Factory of Sinusoidal Networks

arxiv url: http://arxiv.org/abs/2407.21121v1
Date: Tue, 30 Jul 2024 18:24:46 GMT
ステータス: 処理完了
システム内更新日: 2024-08-01 19:35:32.234622
Title: Taming the Frequency Factory of Sinusoidal Networks
Title（参考訳）: 正弦波ネットワークの周波数ファクトリーのモデリング
Authors: Tiago Novello, Diana Aldana, Luiz Velho,
Abstract要約: 本稿では,低次元信号の符号化における有望な結果を示す$sinusoidal$sの構造と表現能力について検討する。我々はこの新しい$identity$を使って信号スペクトルのサンプリングとして機能する入力ニューロンを初期化する。また、隠れたニューロンは、隠れた重みによって完全に決定された振幅で同じ周波数を発生させる。
参考スコア（独自算出の注目度）: 0.9968037829925942
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This work investigates the structure and representation capacity of $sinusoidal$ MLPs, which have recently shown promising results in encoding low-dimensional signals. This success can be attributed to its smoothness and high representation capacity. The first allows the use of the network's derivatives during training, enabling regularization. However, defining the architecture and initializing its parameters to achieve a desired capacity remains an empirical task. This work provides theoretical and experimental results justifying the capacity property of sinusoidal MLPs and offers control mechanisms for their initialization and training. We approach this from a Fourier series perspective and link the training with the model's spectrum. Our analysis is based on a $harmonic$ expansion of the sinusoidal MLP, which says that the composition of sinusoidal layers produces a large number of new frequencies expressed as integer linear combinations of the input frequencies (weights of the input layer). We use this novel $identity$ to initialize the input neurons which work as a sampling in the signal spectrum. We also note that each hidden neuron produces the same frequencies with amplitudes completely determined by the hidden weights. Finally, we give an upper bound for these amplitudes, which results in a $bounding$ scheme for the network's spectrum during training.
Abstract（参考訳）: 本稿では,低次元信号の符号化における有望な結果を示す$sinusoidal$ MLPの構造と表現能力について検討する。この成功は、その滑らかさと高い表現能力に起因する。 1つ目は、トレーニング中にネットワークのデリバティブを使用することを可能にし、正規化を可能にする。しかし、アーキテクチャを定義し、そのパラメータを初期化して所望の能力を達成することは、実証的な課題である。この研究は、正弦波MLPの容量特性を正当化する理論的および実験的結果を提供し、初期化と訓練のための制御メカニズムを提供する。フーリエ級数の観点からこれをアプローチし、トレーニングとモデルのスペクトルを結びつける。我々の分析は、正弦波層の構成が入力周波数(入力層の重み)の整数線形結合として表される多数の新しい周波数を生成するという、正弦波MLPの高調波$拡張に基づく。我々はこの新しい$identity$を使って信号スペクトルのサンプリングとして機能する入力ニューロンを初期化する。また、隠れたニューロンは、隠れた重みによって完全に決定された振幅で同じ周波数を発生させる。最後に、これらの振幅に上限を与え、トレーニング中にネットワークのスペクトルに$bounding$のスキームを与える。

関連論文リスト

FreSh: Frequency Shifting for Accelerated Neural Representation Learning [11.175745750843484]
Inlicit Neural Representations (INR) は、画像、ビデオ、三次元形状などの信号を多層パーセプトロン(MLP)を用いて連続的に表現するための強力なアプローチとして近年注目されている。低周波の詳細は低周波バイアスを示し、高周波の詳細を正確に捉える能力を制限することが知られている。本稿では、初期出力の周波数スペクトルと目標信号の周波数スペクトルを一致させる周波数シフト(FreSh)を提案する。
論文参考訳（メタデータ） (2024-10-07T14:05:57Z)
Sliding down the stairs: how correlated latent variables accelerate learning with neural networks [8.107431208836426]
入力累積に符号化された方向に沿った潜伏変数間の相関が高次相関から学習を高速化することを示す。この結果は2層ニューラルネットワークのシミュレーションで確認された。
論文参考訳（メタデータ） (2024-04-12T17:01:25Z)
Generative Kaleidoscopic Networks [2.321684718906739]
我々は、このニューラルネットワークの特性を利用して、ジェネレーティブ・カレイドスコープと呼ばれるデータセット・カレイドスコープを設計する。我々は、CNN、Transformers、U-Netsといった他のディープラーニングアーキテクチャに対して、この現象を様々な程度に観測した。
論文参考訳（メタデータ） (2024-02-19T02:48:40Z)
A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文参考訳（メタデータ） (2023-05-16T20:06:01Z)
Parallel Hybrid Networks: an interplay between quantum and classical neural networks [0.0]
我々は、データセットの入力を並列に渡す、新しい解釈可能なハイブリッド量子ニューラルネットワークのクラスを導入する。この主張は、周期分布からサンプリングされた2つの合成データセットに対して、雑音としてプロテクションを付加したものである。
論文参考訳（メタデータ） (2023-03-06T15:45:28Z)
Understanding Sinusoidal Neural Networks [0.0]
活性化関数として正弦波を用いた多層パーセプトロンネットワークの構造と表現能力について検討する。これらのニューラルネットワークは、コンピュータグラフィックスにおける共通信号の表現において基本となっている。
論文参考訳（メタデータ） (2022-12-04T14:50:22Z)
Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文参考訳（メタデータ） (2022-11-26T01:56:05Z)
NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文参考訳（メタデータ） (2022-09-29T04:06:00Z)
Win the Lottery Ticket via Fourier Analysis: Frequencies Guided Network Pruning [50.232218214751455]
最適ネットワークプルーニングは、数学的にはNPハード問題である非自明なタスクである。本稿では,MBP(Magnitude-Based Pruning)方式について検討し,新しい視点から解析する。また,新たな2段階プルーニング手法を提案し,その1段階はプルーニングネットワークのトポロジ的構造を取得し,もう1段階はプルーニングネットワークを再訓練し,キャパシティを回復させる。
論文参考訳（メタデータ） (2022-01-30T03:42:36Z)
Conditioning Trick for Training Stable GANs [70.15099665710336]
本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
論文参考訳（メタデータ） (2020-10-12T16:50:22Z)
Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
論文参考訳（メタデータ） (2020-06-21T11:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。