論文の概要: Random Weight Factorization Improves the Training of Continuous Neural Representations

• arxiv url: http://arxiv.org/abs/2210.01274v2
• Date: Wed, 5 Oct 2022 13:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 14:28:26.581728
• Title: Random Weight Factorization Improves the Training of Continuous Neural Representations
• Title（参考訳）: ランダムな重み係数化は連続的神経表現の訓練を改善する
• Authors: Sifan Wang, Hanwen Wang, Jacob H. Seidman, Paris Perdikaris
• Abstract要約: 連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として登場した。 従来の線形層をパラメータ化・初期化するための単純なドロップイン置換法としてランダムウェイト係数化を提案する。 ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。
• 参考スコア（独自算出の注目度）: 1.911678487931003
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Continuous neural representations have recently emerged as a powerful and flexible alternative to classical discretized representations of signals. However, training them to capture fine details in multi-scale signals is difficult and computationally expensive. Here we propose random weight factorization as a simple drop-in replacement for parameterizing and initializing conventional linear layers in coordinate-based multi-layer perceptrons (MLPs) that significantly accelerates and improves their training. We show how this factorization alters the underlying loss landscape and effectively enables each neuron in the network to learn using its own self-adaptive learning rate. This not only helps with mitigating spectral bias, but also allows networks to quickly recover from poor initializations and reach better local minima. We demonstrate how random weight factorization can be leveraged to improve the training of neural representations on a variety of tasks, including image regression, shape representation, computed tomography, inverse rendering, solving partial differential equations, and learning operators between function spaces.
• Abstract（参考訳）: 連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として最近登場した。 しかし,マルチスケール信号の細部を捉える訓練は困難であり,計算コストがかかる。 本稿では、座標系多層パーセプトロン(MLP)における従来の線形層をパラメータ化および初期化するための単純なドロップイン置換として、ランダムウェイト係数化を提案する。 ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。 これは、スペクトルバイアスを緩和するだけでなく、ネットワークが貧弱な初期化から素早く回復し、より優れた局所ミニマに到達するのに役立つ。 本稿では、画像回帰、形状表現、計算トモグラフィー、逆レンダリング、偏微分方程式の解法、関数空間間の学習演算子など、様々なタスクにおける神経表現の訓練を改善するために、ランダムな重み分解をいかに活用できるかを示す。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• Generalizable Neural Fields as Partially Observed Neural Processes [16.202109517569145]
  本稿では,ニューラル表現の大規模トレーニングを部分的に観察されたニューラルプロセスフレームワークの一部として考える新しいパラダイムを提案する。 このアプローチは、最先端の勾配に基づくメタラーニングアプローチとハイパーネットワークアプローチの両方より優れていることを実証する。
  論文  参考訳（メタデータ） (2023-09-13T01:22:16Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Hierarchical Learning to Solve Partial Differential Equations Using Physics-Informed Neural Networks [2.0305676256390934]
  偏微分方程式に対するニューラルネットワーク解の収束率と精度を改善するための階層的手法を提案する。 線形偏微分方程式と非線形偏微分方程式の組によって提案した階層的手法の効率性とロバスト性を検証する。
  論文  参考訳（メタデータ） (2021-12-02T13:53:42Z)
• Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
  入射神経表現は、一般的な信号を表す新しい道である。 現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。 メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T18:02:53Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Self-Organized Operational Neural Networks for Severe Image Restoration Problems [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)に基づく離散学習は、ノイズとクリーンのイメージペアのトレーニング例から学習することで、画像復元を行うことを目的としている。 これは畳み込みに基づく変換の本質的な線形性によるものであり、深刻な復元問題に対処するには不十分である。 画像復元のための自己組織型ONN(Self-ONN)を提案する。
  論文  参考訳（メタデータ） (2020-08-29T02:19:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。