論文の概要: Tuning the Frequencies: Robust Training for Sinusoidal Neural Networks

• arxiv url: http://arxiv.org/abs/2407.21121v2
• Date: Fri, 21 Feb 2025 17:05:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 17:07:43.127221
• Title: Tuning the Frequencies: Robust Training for Sinusoidal Neural Networks
• Title（参考訳）: 周波数調整:正弦波ニューラルネットワークのロバストトレーニング
• Authors: Tiago Novello, Diana Aldana, Andre Araujo, Luiz Velho,
• Abstract要約: 正弦波ネットワークの容量特性を説明する理論的枠組みを導入する。 入力周波数の整数結合として表される多数の新しい周波数を,その層組成によってどのように生成するかを示す。 提案手法はTUNERと呼ばれ, 正弦波INRトレーニングの安定性と収束性を大幅に改善し, より詳細な再建を行った。
• 参考スコア（独自算出の注目度）: 1.5124439914522694
• License:
• Abstract: Sinusoidal neural networks have been shown effective as implicit neural representations (INRs) of low-dimensional signals, due to their smoothness and high representation capacity. However, initializing and training them remain empirical tasks which lack on deeper understanding to guide the learning process. To fill this gap, our work introduces a theoretical framework that explains the capacity property of sinusoidal networks and offers robust control mechanisms for initialization and training. Our analysis is based on a novel amplitude-phase expansion of the sinusoidal multilayer perceptron, showing how its layer compositions produce a large number of new frequencies expressed as integer combinations of the input frequencies. This relationship can be directly used to initialize the input neurons, as a form of spectral sampling, and to bound the network's spectrum while training. Our method, referred to as TUNER (TUNing sinusoidal nEtwoRks), greatly improves the stability and convergence of sinusoidal INR training, leading to detailed reconstructions, while preventing overfitting.
• Abstract（参考訳）: 正弦波ニューラルネットワークは、その滑らかさと高い表現能力のため、低次元信号の暗黙の神経表現(INR)として有効であることが示されている。 しかし、それらの初期化と訓練は、学習プロセスを導くための深い理解に欠ける経験的なタスクのままである。 このギャップを埋めるために、我々は正弦波ネットワークの容量特性を説明し、初期化と訓練のための堅牢な制御機構を提供する理論的枠組みを導入する。 本分析は, 正弦波多層パーセプトロンの振幅-位相展開に基づいて, 入力周波数の整数結合として表される多数の新しい周波数を, 層組成がどのように生成するかを示す。 この関係は入力ニューロンをスペクトルサンプリングの形で初期化し、トレーニング中にネットワークのスペクトルを束縛するために直接使用できる。 本手法はTUNER (TUNing sinusoidal nEtwoRks) と呼ばれ, sinusoidal INRトレーニングの安定性と収束性を大幅に改善し, オーバーフィッティングの防止を図った。

関連論文リスト

• Robustifying Fourier Features Embeddings for Implicit Neural Representations [25.725097757343367]
  Inlicit Neural Representation (INR) は、目標関数の対応する値に座標をマッピングすることで、連続関数を表現するためにニューラルネットワークを使用する。 INRは、様々な周波数を含むシーンを扱う際に、スペクトルバイアスとして知られる課題に直面している。 本稿では,多層パーセプトロン (MLP) を添加剤なしで使用することを提案する。
  論文  参考訳（メタデータ） (2025-02-08T07:43:37Z)
• Sliding down the stairs: how correlated latent variables accelerate learning with neural networks [8.107431208836426]
  入力累積に符号化された方向に沿った潜伏変数間の相関が高次相関から学習を高速化することを示す。 この結果は2層ニューラルネットワークのシミュレーションで確認された。
  論文  参考訳（メタデータ） (2024-04-12T17:01:25Z)
• Generative Kaleidoscopic Networks [2.321684718906739]
  我々は、このニューラルネットワークの特性を利用して、ジェネレーティブ・カレイドスコープと呼ばれるデータセット・カレイドスコープを設計する。 我々は、CNN、Transformers、U-Netsといった他のディープラーニングアーキテクチャに対して、この現象を様々な程度に観測した。
  論文  参考訳（メタデータ） (2024-02-19T02:48:40Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Parallel Hybrid Networks: an interplay between quantum and classical neural networks [0.0]
  我々は、データセットの入力を並列に渡す、新しい解釈可能なハイブリッド量子ニューラルネットワークのクラスを導入する。 この主張は、周期分布からサンプリングされた2つの合成データセットに対して、雑音としてプロテクションを付加したものである。
  論文  参考訳（メタデータ） (2023-03-06T15:45:28Z)
• Understanding Sinusoidal Neural Networks [0.0]
  活性化関数として正弦波を用いた多層パーセプトロンネットワークの構造と表現能力について検討する。 これらのニューラルネットワークは、コンピュータグラフィックスにおける共通信号の表現において基本となっている。
  論文  参考訳（メタデータ） (2022-12-04T14:50:22Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Win the Lottery Ticket via Fourier Analysis: Frequencies Guided Network Pruning [50.232218214751455]
  最適ネットワークプルーニングは、数学的にはNPハード問題である非自明なタスクである。 本稿では,MBP(Magnitude-Based Pruning)方式について検討し,新しい視点から解析する。 また,新たな2段階プルーニング手法を提案し,その1段階はプルーニングネットワークのトポロジ的構造を取得し,もう1段階はプルーニングネットワークを再訓練し,キャパシティを回復させる。
  論文  参考訳（メタデータ） (2022-01-30T03:42:36Z)
• Conditioning Trick for Training Stable GANs [70.15099665710336]
  本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。 我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
  論文  参考訳（メタデータ） (2020-10-12T16:50:22Z)
• Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
  我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。 アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。 また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
  論文  参考訳（メタデータ） (2020-06-21T11:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。