論文の概要: Multi-Head ReLU Implicit Neural Representation Networks

• arxiv url: http://arxiv.org/abs/2110.03448v1
• Date: Thu, 7 Oct 2021 13:27:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:20:30.353752
• Title: Multi-Head ReLU Implicit Neural Representation Networks
• Title（参考訳）: マルチヘッドReLUインプットニューラル表現ネットワーク
• Authors: Arya Aftab, Alireza Morsali
• Abstract要約: 暗黙的神経表現(INR)のための新しいマルチヘッド多層パーセプトロン(MLP)構造 本稿では,提案モデルが従来のReLUネットワークの特別なバイアスに悩まされず,優れた性能を有することを示す。
• 参考スコア（独自算出の注目度）: 3.04585143845864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, a novel multi-head multi-layer perceptron (MLP) structure is presented for implicit neural representation (INR). Since conventional rectified linear unit (ReLU) networks are shown to exhibit spectral bias towards learning low-frequency features of the signal, we aim at mitigating this defect by taking advantage of the local structure of the signals. To be more specific, an MLP is used to capture the global features of the underlying generator function of the desired signal. Then, several heads are utilized to reconstruct disjoint local features of the signal, and to reduce the computational complexity, sparse layers are deployed for attaching heads to the body. Through various experiments, we show that the proposed model does not suffer from the special bias of conventional ReLU networks and has superior generalization capabilities. Finally, simulation results confirm that the proposed multi-head structure outperforms existing INR methods with considerably less computational cost.
• Abstract（参考訳）: 本稿では、暗黙的神経表現(INR)のために、新しいマルチヘッド多層パーセプトロン(MLP)構造を示す。 従来の整流線形ユニット(ReLU)ネットワークは信号の低周波特性を学習するためのスペクトルバイアスを示すので,信号の局所構造を利用してこの欠陥を緩和することを目指している。 より具体的に言うと、MLPは所望の信号の基底ジェネレータ関数のグローバルな特徴を捉えるために使用される。 次に、複数のヘッドを用いて信号の非隣接な局所的特徴を再構成し、計算複雑性を低減し、ヘッドを本体に取り付けるためにスパース層を配置する。 種々の実験を通して,提案モデルが従来のReLUネットワークの特別なバイアスに悩まされず,より優れた一般化能力を有することを示す。 最後に, シミュレーションにより, 提案手法が既存のinr法をはるかに少ない計算コストで上回ることを確認した。

関連論文リスト

• Single-Layer Learnable Activation for Implicit Neural Representation (SL$^{2}$A-INR) [6.572456394600755]
  ニューラルネットワークを利用して、座標入力を対応する属性に変換するインプシット表現(INR)は、視覚関連領域において大きな進歩をもたらした。 SL$2$A-INR を単層学習可能なアクティベーション関数として提案し,従来の ReLU ベースの有効性を推し進める。 提案手法は,画像表現,3次元形状再構成,単一画像超解像,CT再構成,新しいビューなど,多様なタスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T02:02:15Z)
• Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks [4.499833362998488]
  入射神経表現(INR)は、複雑な信号の連続的および分解非依存的な表現を提供するためにニューラルネットワークを使用する。 提案したFKANは、第1層のフーリエ級数としてモデル化された学習可能なアクティベーション関数を用いて、タスク固有の周波数成分を効果的に制御し、学習する。 実験結果から,提案したFKANモデルは,最先端の3つのベースラインスキームよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-14T05:53:33Z)
• Implicit Neural Representations and the Algebra of Complex Wavelets [36.311212480600794]
  Inlicit Neural representations (INRs) はユークリッド領域におけるシグナルの表現法として有用である。 ユークリッド空間上の多層パーセプトロン(MLP)として画像をパラメータ化することにより、INRは通常の離散表現では明らかでない信号の結合やスペクトルの特徴を効果的に表現する。
  論文  参考訳（メタデータ） (2023-10-01T02:01:28Z)
• Generalized Activation via Multivariate Projection [46.837481855573145]
  活性化関数はニューラルネットワークに非線形性を導入するのに不可欠である。 我々は、ReLU を R から非負半直線 R+ への射影とみなす。 一般化された射影作用素でReLUを2次錐(SOC)射影のような凸錐に置換することでReLUを拡張する。
  論文  参考訳（メタデータ） (2023-09-29T12:44:27Z)
• Regularize implicit neural representation by itself [48.194276790352006]
  Inlicit Neural Representation Regularizer (INRR) と呼ばれる正則化器を提案し、Inlicit Neural Representation (INR) の一般化能力を向上させる。 提案したINRRは、行列の行/列間の類似度を測定する学習されたディリクレエネルギー(DE)に基づいている。 また、収束軌道やマルチスケール類似性のような運動量法を含む、INRRから派生した一連の特性を明らかにした。
  論文  参考訳（メタデータ） (2023-03-27T04:11:08Z)
• DINER: Disorder-Invariant Implicit Neural Representation [33.10256713209207]
  入射神経表現(INR)は、信号の属性を対応する座標の関数として特徴づける。 本稿では、従来のINRバックボーンにハッシュテーブルを付加することにより、障害不変な暗黙的神経表現(DINER)を提案する。
  論文  参考訳（メタデータ） (2022-11-15T03:34:24Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)
• Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
  MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。 提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
  論文  参考訳（メタデータ） (2021-06-16T15:56:34Z)
• Iterative Network for Image Super-Resolution [69.07361550998318]
  単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。 本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。 反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
  論文  参考訳（メタデータ） (2020-05-20T11:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。