Fugu-MT 論文翻訳(概要): ReLUs Are Sufficient for Learning Implicit Neural Representations

論文の概要: ReLUs Are Sufficient for Learning Implicit Neural Representations

arxiv url: http://arxiv.org/abs/2406.02529v2
Date: Thu, 1 Aug 2024 20:53:09 GMT
ステータス: 処理完了
システム内更新日: 2024-08-05 17:53:28.867434
Title: ReLUs Are Sufficient for Learning Implicit Neural Representations
Title（参考訳）: ReLUは意図しない神経表現を学習するのに十分である
Authors: Joseph Shenouda, Yamin Zhou, Robert D. Nowak,
Abstract要約: 暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。 2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
参考スコア（独自算出の注目度）: 17.786058035763254
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Motivated by the growing theoretical understanding of neural networks that employ the Rectified Linear Unit (ReLU) as their activation function, we revisit the use of ReLU activation functions for learning implicit neural representations (INRs). Inspired by second order B-spline wavelets, we incorporate a set of simple constraints to the ReLU neurons in each layer of a deep neural network (DNN) to remedy the spectral bias. This in turn enables its use for various INR tasks. Empirically, we demonstrate that, contrary to popular belief, one can learn state-of-the-art INRs based on a DNN composed of only ReLU neurons. Next, by leveraging recent theoretical works which characterize the kinds of functions ReLU neural networks learn, we provide a way to quantify the regularity of the learned function. This offers a principled approach to selecting the hyperparameters in INR architectures. We substantiate our claims through experiments in signal representation, super resolution, and computed tomography, demonstrating the versatility and effectiveness of our method. The code for all experiments can be found at https://github.com/joeshenouda/relu-inrs.
Abstract（参考訳）: Rectified Linear Unit(ReLU)をアクティベーション関数とするニューラルネットワークの理論的理解の高まりにより、暗黙的ニューラルネットワーク表現(INR)の学習にReLUアクティベーション関数を使用することが再考される。 2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を加え、スペクトルバイアスを緩和する。これにより、様々なINRタスクに使用できる。実証的に、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証する。次に、ReLUニューラルネットワークが学習する関数の種類を特徴付ける最近の理論的研究を活用して、学習した関数の正則性を定量化する方法を提供する。これはINRアーキテクチャのハイパーパラメータを選択するための原則化されたアプローチを提供する。我々は,信号表現,超解像,コンピュータ断層撮影の実験を通じて,本手法の汎用性と有効性を示す。すべての実験のコードはhttps://github.com/joeshenouda/relu-inrs.comで見ることができる。

関連論文リスト

Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
論文参考訳（メタデータ） (2024-03-19T05:37:26Z)
Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文参考訳（メタデータ） (2024-01-11T18:57:17Z)
A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文参考訳（メタデータ） (2023-05-26T02:52:12Z)
Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文参考訳（メタデータ） (2023-02-27T18:52:38Z)
SignReLU neural network and its approximation ability [8.94250977764275]
我々は、SignReLUと呼ばれる異なるアクティベーション関数を用いて、ディープニューラルネットワーク(DNN)の近似能力について検討する。理論的な結果から,SignReLUネットワークは近似性能において有理性とReLUネットワークよりも優れていた。
論文参考訳（メタデータ） (2022-10-19T02:59:31Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文参考訳（メタデータ） (2021-05-20T04:54:57Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
論文参考訳（メタデータ） (2020-02-04T20:21:36Z)
Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。