論文の概要: Multi-Head ReLU Implicit Neural Representation Networks
- arxiv url: http://arxiv.org/abs/2110.03448v1
- Date: Thu, 7 Oct 2021 13:27:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 15:20:30.353752
- Title: Multi-Head ReLU Implicit Neural Representation Networks
- Title(参考訳): マルチヘッドReLUインプットニューラル表現ネットワーク
- Authors: Arya Aftab, Alireza Morsali
- Abstract要約: 暗黙的神経表現(INR)のための新しいマルチヘッド多層パーセプトロン(MLP)構造
本稿では,提案モデルが従来のReLUネットワークの特別なバイアスに悩まされず,優れた性能を有することを示す。
- 参考スコア(独自算出の注目度): 3.04585143845864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, a novel multi-head multi-layer perceptron (MLP) structure is
presented for implicit neural representation (INR). Since conventional
rectified linear unit (ReLU) networks are shown to exhibit spectral bias
towards learning low-frequency features of the signal, we aim at mitigating
this defect by taking advantage of the local structure of the signals. To be
more specific, an MLP is used to capture the global features of the underlying
generator function of the desired signal. Then, several heads are utilized to
reconstruct disjoint local features of the signal, and to reduce the
computational complexity, sparse layers are deployed for attaching heads to the
body. Through various experiments, we show that the proposed model does not
suffer from the special bias of conventional ReLU networks and has superior
generalization capabilities. Finally, simulation results confirm that the
proposed multi-head structure outperforms existing INR methods with
considerably less computational cost.
- Abstract(参考訳): 本稿では、暗黙的神経表現(INR)のために、新しいマルチヘッド多層パーセプトロン(MLP)構造を示す。
従来の整流線形ユニット(ReLU)ネットワークは信号の低周波特性を学習するためのスペクトルバイアスを示すので,信号の局所構造を利用してこの欠陥を緩和することを目指している。
より具体的に言うと、MLPは所望の信号の基底ジェネレータ関数のグローバルな特徴を捉えるために使用される。
次に、複数のヘッドを用いて信号の非隣接な局所的特徴を再構成し、計算複雑性を低減し、ヘッドを本体に取り付けるためにスパース層を配置する。
種々の実験を通して,提案モデルが従来のReLUネットワークの特別なバイアスに悩まされず,より優れた一般化能力を有することを示す。
最後に, シミュレーションにより, 提案手法が既存のinr法をはるかに少ない計算コストで上回ることを確認した。
関連論文リスト
- Implicit Neural Representations and the Algebra of Complex Wavelets [36.311212480600794]
Inlicit Neural representations (INRs) はユークリッド領域におけるシグナルの表現法として有用である。
ユークリッド空間上の多層パーセプトロン(MLP)として画像をパラメータ化することにより、INRは通常の離散表現では明らかでない信号の結合やスペクトルの特徴を効果的に表現する。
論文 参考訳(メタデータ) (2023-10-01T02:01:28Z) - Generalized Activation via Multivariate Projection [46.837481855573145]
活性化関数はニューラルネットワークに非線形性を導入するのに不可欠である。
我々は、ReLU を R から非負半直線 R+ への射影とみなす。
一般化された射影作用素でReLUを2次錐(SOC)射影のような凸錐に置換することでReLUを拡張する。
論文 参考訳(メタデータ) (2023-09-29T12:44:27Z) - Regularize implicit neural representation by itself [48.194276790352006]
Inlicit Neural Representation Regularizer (INRR) と呼ばれる正則化器を提案し、Inlicit Neural Representation (INR) の一般化能力を向上させる。
提案したINRRは、行列の行/列間の類似度を測定する学習されたディリクレエネルギー(DE)に基づいている。
また、収束軌道やマルチスケール類似性のような運動量法を含む、INRRから派生した一連の特性を明らかにした。
論文 参考訳(メタデータ) (2023-03-27T04:11:08Z) - Expressivity of Shallow and Deep Neural Networks for Polynomial
Approximation [0.0]
一般コンパクト領域上の積関数を近似する浅層ネットワークの複雑さの指数的下界を確立する。
また、この下界は単位立方体上の正規化リプシッツ単項数には適用されないことを示した。
論文 参考訳(メタデータ) (2023-03-06T23:01:53Z) - DINER: Disorder-Invariant Implicit Neural Representation [33.10256713209207]
入射神経表現(INR)は、信号の属性を対応する座標の関数として特徴づける。
本稿では、従来のINRバックボーンにハッシュテーブルを付加することにより、障害不変な暗黙的神経表現(DINER)を提案する。
論文 参考訳(メタデータ) (2022-11-15T03:34:24Z) - Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in
Neural Networks [66.76034024335833]
バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。
本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。
我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
論文 参考訳(メタデータ) (2022-10-04T04:01:15Z) - MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface
Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。
これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。
近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文 参考訳(メタデータ) (2022-06-01T17:58:15Z) - On Regularizing Coordinate-MLPs [35.22690619382976]
ディープニューラルネットワーク(回帰)の典型的な暗黙正則化仮定は座標MLPを保たないことを示す。
アーキテクチャの変更なしに既存のネットワークに組み込むことのできる,シンプルな正規化手法を提案する。
論文 参考訳(メタデータ) (2022-02-01T22:21:13Z) - Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。
OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。
提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
論文 参考訳(メタデータ) (2021-06-16T15:56:34Z) - Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。
本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。
反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文 参考訳(メタデータ) (2020-05-20T11:11:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。