論文の概要: In Search of a Data Transformation That Accelerates Neural Field Training

• arxiv url: http://arxiv.org/abs/2311.17094v2
• Date: Tue, 26 Mar 2024 13:21:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 00:21:53.192753
• Title: In Search of a Data Transformation That Accelerates Neural Field Training
• Title（参考訳）: ニューラルネットワーク学習を加速するデータ変換の探索
• Authors: Junwon Seo, Sangyoon Lee, Kwang In Kim, Jaeho Lee,
• Abstract要約: 画素位置の置換がSGDの収束速度にどのように影響するかに焦点をあてる。 対して、画素位置をランダムに変化させることで、トレーニングをかなり加速させることができる。 解析の結果、ランダムなピクセル置換は、初期最適化の妨げとなるが、信号の細部を捉えやすいパターンを取り除くことが示唆された。
• 参考スコア（独自算出の注目度）: 37.39915075581319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural field is an emerging paradigm in data representation that trains a neural network to approximate the given signal. A key obstacle that prevents its widespread adoption is the encoding speed-generating neural fields requires an overfitting of a neural network, which can take a significant number of SGD steps to reach the desired fidelity level. In this paper, we delve into the impacts of data transformations on the speed of neural field training, specifically focusing on how permuting pixel locations affect the convergence speed of SGD. Counterintuitively, we find that randomly permuting the pixel locations can considerably accelerate the training. To explain this phenomenon, we examine the neural field training through the lens of PSNR curves, loss landscapes, and error patterns. Our analyses suggest that the random pixel permutations remove the easy-to-fit patterns, which facilitate easy optimization in the early stage but hinder capturing fine details of the signal.
• Abstract（参考訳）: ニューラルネットワークは、与えられた信号を近似するためにニューラルネットワークを訓練する、データ表現における新たなパラダイムである。 その普及を妨げる重要な障害は、高速発生型ニューラルネットワークの符号化には、ニューラルネットワークのオーバーフィッティングが必要であり、望まれる忠実度レベルに達するためには、かなりの数のSGDステップが必要になることだ。 本稿では,SGDの収束速度に及ぼすデータ変換の影響について検討し,特に画素位置の変化がSGDの収束速度に与える影響に着目した。 反対に、画素位置をランダムに変化させることで、トレーニングをかなり加速させることができる。 この現象を説明するために、PSNR曲線、損失景観、エラーパターンのレンズによる神経場訓練について検討する。 解析の結果、ランダムなピクセル置換は、初期最適化が容易であるが、信号の細部を捉えるのを妨げている、容易かつ適したパターンを排除していることがわかった。

関連論文リスト

• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Training Robust Spiking Neural Networks with ViewPoint Transform and SpatioTemporal Stretching [4.736525128377909]
  本稿では,新しいデータ拡張手法であるViewPoint Transform and Spatio Stretching(VPT-STS)を提案する。 時間領域の回転中心と角度を変換し、異なる視点からサンプルを生成することにより、スパイクニューラルネットワークの堅牢性を向上させる。 有意なニューロモルフィックデータセットの実験により、VPT-STSは多点表現に広く有効であり、純粋な空間幾何学的変換を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2023-03-14T03:09:56Z)
• Random Weight Factorization Improves the Training of Continuous Neural Representations [1.911678487931003]
  連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として登場した。 従来の線形層をパラメータ化・初期化するための単純なドロップイン置換法としてランダムウェイト係数化を提案する。 ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。
  論文  参考訳（メタデータ） (2022-10-03T23:48:48Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
  入射神経表現は、一般的な信号を表す新しい道である。 現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。 メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T18:02:53Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
  本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。 粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
  論文  参考訳（メタデータ） (2021-05-08T03:50:45Z)
• A Light-Weighted Convolutional Neural Network for Bitemporal SAR Image Change Detection [40.58864817923371]
  計算と空間の複雑さを低減するために,軽量なニューラルネットワークを提案する。 提案するネットワークでは、通常の畳み込み層を、入力と出力の間に同じ数のチャネルを保持するボトルネック層に置き換える。 両時間SAR画像の4つのセット上で、重み付けされたニューラルネットワークを検証する。
  論文  参考訳（メタデータ） (2020-05-29T04:01:32Z)
• Investigating Generalization in Neural Networks under Optimally Evolved Training Perturbations [46.8676764079206]
  入力摂動下でのニューラルネットワークの一般化特性について検討する。 いくつかのピクセル修正による最小限のトレーニングデータ破損は、過度な過度なオーバーフィッティングを引き起こす可能性があることを示す。 最適な画素摂動を探索する進化的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-14T14:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。