論文の概要: Fast Training of Sinusoidal Neural Fields via Scaling Initialization

• arxiv url: http://arxiv.org/abs/2410.04779v1
• Date: Mon, 7 Oct 2024 06:38:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:58:01.019248
• Title: Fast Training of Sinusoidal Neural Fields via Scaling Initialization
• Title（参考訳）: スケーリング初期化による正弦波神経場の高速訓練
• Authors: Taesun Yeom, Sangyoon Lee, Jaeho Lee,
• Abstract要約: sinusoidal Neural Field (SNFs) という,ニューラルネットワークの一般的なファミリーに焦点をあてる。 それぞれの重みを定数で乗算することで、SNFトレーニングを10$times$で加速できることを示す。
• 参考スコア（独自算出の注目度）: 16.912112402718584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural fields are an emerging paradigm that represent data as continuous functions parameterized by neural networks. Despite many advantages, neural fields often have a high training cost, which prevents a broader adoption. In this paper, we focus on a popular family of neural fields, called sinusoidal neural fields (SNFs), and study how it should be initialized to maximize the training speed. We find that the standard initialization scheme for SNFs -- designed based on the signal propagation principle -- is suboptimal. In particular, we show that by simply multiplying each weight (except for the last layer) by a constant, we can accelerate SNF training by 10$\times$. This method, coined $\textit{weight scaling}$, consistently provides a significant speedup over various data domains, allowing the SNFs to train faster than more recently proposed architectures. To understand why the weight scaling works well, we conduct extensive theoretical and empirical analyses which reveal that the weight scaling not only resolves the spectral bias quite effectively but also enjoys a well-conditioned optimization trajectory.
• Abstract（参考訳）: ニューラルネットワークは、データをニューラルネットワークによってパラメータ化された連続関数として表現する新興パラダイムである。 多くの利点があるにもかかわらず、ニューラルネットワークはトレーニングコストが高いため、広く採用されないことが多い。 本稿では,sinusoidal Neural Field (SNFs) と呼ばれる一般的なニューラルネットワーク群に着目し,トレーニング速度を最大化するためにどのように初期化すべきかを検討する。 SNFの標準初期化方式は信号伝搬原理に基づいて設計されており、準最適であることがわかった。 特に、各重み(最後の層を除く)を定数で乗算することで、SNFトレーニングを10$\times$で加速できることを示す。 このメソッドは$\textit{weight scaling}$と呼ばれ、一貫して様々なデータドメインに対する大幅なスピードアップを提供しており、SNFはより最近提案されたアーキテクチャよりも高速にトレーニングすることができる。 重みスケーリングがうまく機能する理由を理解するため、重みスケーリングがスペクトルバイアスを効果的に解決するだけでなく、十分に条件の整った最適化軌道を享受することを示す、広範な理論的および経験的な分析を行う。

関連論文リスト

• ETTFS: An Efficient Training Framework for Time-to-First-Spike Neuron [38.194529226257735]
  TTFS(Time-to-First-Spike)コーディングでは、ニューロンは推論中に一度だけ発火し、スパイク数を削減し、エネルギー効率を向上し、処理を高速化する。 本稿では,TTFSの効率的なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T04:14:47Z)
• Deep activity propagation via weight initialization in spiking neural networks [10.69085409825724]
  Spiking Neural Networks (SNN)は、スパーシリティや超低消費電力といったバイオインスパイアされた利点を提供する。 ディープSNNは、実数値膜電位をバイナリスパイクに量子化することで、情報を処理し、伝達する。 提案手法は, 従来の手法とは異なり, スパイクの損失を伴わずに, 深部SNNにおける活動の伝播を可能にすることを理論的に示す。
  論文  参考訳（メタデータ） (2024-10-01T11:02:34Z)
• Demystifying Lazy Training of Neural Networks from a Macroscopic Viewpoint [5.9954962391837885]
  ニューラルネットワークの勾配勾配勾配ダイナミクスをマクロ的限界レンズを用いて検討する。 我々の研究は、勾配降下がディープニューラルネットワークを高速でトレーニング損失ゼロに駆動できることを明らかにした。 我々のアプローチは、Neural Tangent Kernel(NTK)パラダイムからインスピレーションを得ている。
  論文  参考訳（メタデータ） (2024-04-07T08:07:02Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。