論文の概要: Tuning the Frequencies: Robust Training for Sinusoidal Neural Networks

• arxiv url: http://arxiv.org/abs/2407.21121v2
• Date: Fri, 21 Feb 2025 17:05:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 01:45:05.737049
• Title: Tuning the Frequencies: Robust Training for Sinusoidal Neural Networks
• Title（参考訳）: 周波数調整:正弦波ニューラルネットワークのロバストトレーニング
• Authors: Tiago Novello, Diana Aldana, Andre Araujo, Luiz Velho,
• Abstract要約: 正弦波ネットワークの容量特性を説明する理論的枠組みを導入する。 入力周波数の整数結合として表される多数の新しい周波数を,その層組成によってどのように生成するかを示す。 提案手法はTUNERと呼ばれ, 正弦波INRトレーニングの安定性と収束性を大幅に改善し, より詳細な再建を行った。
• 参考スコア（独自算出の注目度）: 1.5124439914522694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sinusoidal neural networks have been shown effective as implicit neural representations (INRs) of low-dimensional signals, due to their smoothness and high representation capacity. However, initializing and training them remain empirical tasks which lack on deeper understanding to guide the learning process. To fill this gap, our work introduces a theoretical framework that explains the capacity property of sinusoidal networks and offers robust control mechanisms for initialization and training. Our analysis is based on a novel amplitude-phase expansion of the sinusoidal multilayer perceptron, showing how its layer compositions produce a large number of new frequencies expressed as integer combinations of the input frequencies. This relationship can be directly used to initialize the input neurons, as a form of spectral sampling, and to bound the network's spectrum while training. Our method, referred to as TUNER (TUNing sinusoidal nEtwoRks), greatly improves the stability and convergence of sinusoidal INR training, leading to detailed reconstructions, while preventing overfitting.
• Abstract（参考訳）: 正弦波ニューラルネットワークは、その滑らかさと高い表現能力のため、低次元信号の暗黙の神経表現(INR)として有効であることが示されている。 しかし、それらの初期化と訓練は、学習プロセスを導くための深い理解に欠ける経験的なタスクのままである。 このギャップを埋めるために、我々は正弦波ネットワークの容量特性を説明し、初期化と訓練のための堅牢な制御機構を提供する理論的枠組みを導入する。 本分析は, 正弦波多層パーセプトロンの振幅-位相展開に基づいて, 入力周波数の整数結合として表される多数の新しい周波数を, 層組成がどのように生成するかを示す。 この関係は入力ニューロンをスペクトルサンプリングの形で初期化し、トレーニング中にネットワークのスペクトルを束縛するために直接使用できる。 本手法はTUNER (TUNing sinusoidal nEtwoRks) と呼ばれ, sinusoidal INRトレーニングの安定性と収束性を大幅に改善し, オーバーフィッティングの防止を図った。

関連論文リスト

• FreSh: Frequency Shifting for Accelerated Neural Representation Learning [11.175745750843484]
  Inlicit Neural Representations (INR) は、画像、ビデオ、三次元形状などの信号を多層パーセプトロン(MLP)を用いて連続的に表現するための強力なアプローチとして近年注目されている。 低周波の詳細は低周波バイアスを示し、高周波の詳細を正確に捉える能力を制限することが知られている。 本稿では、初期出力の周波数スペクトルと目標信号の周波数スペクトルを一致させる周波数シフト(FreSh)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T14:05:57Z)
• Deep Oscillatory Neural Network [4.2586023009901215]
  我々は、Deepy Neural Network(DONN)として知られる脳にインスパイアされたディープニューラルネットワークモデルを提案する。 このモチベーションにより、DONNは振動する内部ダイナミクスを持つように設計されている。 提案したモデルの性能は、同じデータセット上で公表された結果に匹敵するか、優れている。
  論文  参考訳（メタデータ） (2024-05-06T06:17:16Z)
• Sliding down the stairs: how correlated latent variables accelerate learning with neural networks [8.107431208836426]
  入力累積に符号化された方向に沿った潜伏変数間の相関が高次相関から学習を高速化することを示す。 この結果は2層ニューラルネットワークのシミュレーションで確認された。
  論文  参考訳（メタデータ） (2024-04-12T17:01:25Z)
• Generative Kaleidoscopic Networks [2.321684718906739]
  我々は、このニューラルネットワークの特性を利用して、ジェネレーティブ・カレイドスコープと呼ばれるデータセット・カレイドスコープを設計する。 我々は、CNN、Transformers、U-Netsといった他のディープラーニングアーキテクチャに対して、この現象を様々な程度に観測した。
  論文  参考訳（メタデータ） (2024-02-19T02:48:40Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Parallel Hybrid Networks: an interplay between quantum and classical neural networks [0.0]
  我々は、データセットの入力を並列に渡す、新しい解釈可能なハイブリッド量子ニューラルネットワークのクラスを導入する。 この主張は、周期分布からサンプリングされた2つの合成データセットに対して、雑音としてプロテクションを付加したものである。
  論文  参考訳（メタデータ） (2023-03-06T15:45:28Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Understanding Sinusoidal Neural Networks [0.0]
  活性化関数として正弦波を用いた多層パーセプトロンネットワークの構造と表現能力について検討する。 これらのニューラルネットワークは、コンピュータグラフィックスにおける共通信号の表現において基本となっている。
  論文  参考訳（メタデータ） (2022-12-04T14:50:22Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Win the Lottery Ticket via Fourier Analysis: Frequencies Guided Network Pruning [50.232218214751455]
  最適ネットワークプルーニングは、数学的にはNPハード問題である非自明なタスクである。 本稿では,MBP(Magnitude-Based Pruning)方式について検討し,新しい視点から解析する。 また,新たな2段階プルーニング手法を提案し,その1段階はプルーニングネットワークのトポロジ的構造を取得し,もう1段階はプルーニングネットワークを再訓練し,キャパシティを回復させる。
  論文  参考訳（メタデータ） (2022-01-30T03:42:36Z)
• Conditioning Trick for Training Stable GANs [70.15099665710336]
  本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。 我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
  論文  参考訳（メタデータ） (2020-10-12T16:50:22Z)
• The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
  研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。 この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T17:42:49Z)
• Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
  我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。 アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。 また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
  論文  参考訳（メタデータ） (2020-06-21T11:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。