論文の概要: Constructing Multilayer Perceptrons as Piecewise Low-Order Polynomial Approximators: A Signal Processing Approach

• arxiv url: http://arxiv.org/abs/2010.07871v1
• Date: Thu, 15 Oct 2020 16:48:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 04:45:08.363991
• Title: Constructing Multilayer Perceptrons as Piecewise Low-Order Polynomial Approximators: A Signal Processing Approach
• Title（参考訳）: 低次多項式近似器としての多層パーセプトロンの構成-信号処理アプローチ
• Authors: Ruiyuan Lin, Suya You, Raghuveer Rao, C.-C. Jay Kuo
• Abstract要約: 低次近似器としての多層パーセプトロン(MLP)の構成について述べる。 アンの近似と小数次低次との1対1対応を確立する。
• 参考スコア（独自算出の注目度）: 34.35286242812011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The construction of a multilayer perceptron (MLP) as a piecewise low-order polynomial approximator using a signal processing approach is presented in this work. The constructed MLP contains one input, one intermediate and one output layers. Its construction includes the specification of neuron numbers and all filter weights. Through the construction, a one-to-one correspondence between the approximation of an MLP and that of a piecewise low-order polynomial is established. Comparison between piecewise polynomial and MLP approximations is made. Since the approximation capability of piecewise low-order polynomials is well understood, our findings shed light on the universal approximation capability of an MLP.
• Abstract（参考訳）: 本稿では,信号処理手法を用いた低次多項式近似器として多層パーセプトロン(MLP)の構築について述べる。 構築されたMLPは、1つの入力、1つの中間層および1つの出力層を含む。 その構成には、ニューロン数と全てのフィルター重みの仕様が含まれる。 この構成により、MLPの近似と小数次低次多項式の近似との1対1対応が確立される。 ピースワイズ多項式とMLP近似の比較を行う。 片方向の低次多項式の近似能力はよく理解されているので,我々はMLPの普遍近似能力に光を当てた。

関連論文リスト

• NTK-approximating MLP Fusion for Efficient Language Model Fine-tuning [40.994306592119266]
  訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。 いくつかの一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。 我々は、NTK近似モジュールを融合して軽量PLMを作成することを提案する。
  論文  参考訳（メタデータ） (2023-07-18T03:12:51Z)
• Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed Representations [51.75960511842552]
  事前訓練された言語モデル(PLM)の微調整は、低リソースのシナリオで過度に適合する傾向がある。 オーバーフィッティングを減らすために,PLMの隠れ表現を利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T09:39:29Z)
• Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
  すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。 特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。 6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
  論文  参考訳（メタデータ） (2022-03-14T04:32:19Z)
• RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality [113.1414517605892]
  そこで本研究では,FC層に局所前処理を組み込む手法であるLocality Injectionを提案する。 RepMLPNetはCityscapesセマンティックセグメンテーションにシームレスに移行した最初の企業である。
  論文  参考訳（メタデータ） (2021-12-21T10:28:17Z)
• Sparse-MLP: A Fully-MLP Architecture with Conditional Computation [7.901786481399378]
  厳密な条件計算を伴うMoE(Mixture-of-Experts)は、注意に基づくモデルを、同等の計算コストでより多くのパラメータに拡張するための効果的なアーキテクチャであることが証明されている。 我々は、より効率的なアーキテクチャを実現するために、最近のMixerモデルをMoEで拡張するSparse-MLPを提案する。
  論文  参考訳（メタデータ） (2021-09-05T06:43:08Z)
• CycleMLP: A MLP-like Architecture for Dense Prediction [26.74203747156439]
  CycleMLPは視覚認識と密度予測のための汎用的なバックボーンである。 様々な画像サイズに対処でき、ローカルウィンドウを使用することで、画像サイズに対する線形計算の複雑さを実現する。 CycleMLPは、モデルに対するオブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションの競合するベースラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2021-07-21T17:23:06Z)
• AS-MLP: An Axial Shifted MLP Architecture for Vision [50.11765148947432]
  本稿では,Axial Shifted Architecture (AS-MLP)を提案する。 特徴写像のチャネルを軸シフトすることにより、AS-MLPは異なる方向から情報の流れを得ることができる。 提案したAS-MLPアーキテクチャでは,ImageNet-1Kデータセット上の88Mパラメータと15.2GFLOPを用いて,83.3%のTop-1精度が得られる。
  論文  参考訳（メタデータ） (2021-07-18T08:56:34Z)
• Projection-based QLP Algorithm for Efficiently Computing Low-Rank Approximation of Matrices [6.952039070065292]
  投影型部分QLP(PbP-QLP)は、p-QLPを精度良く効率的に近似する新しいアルゴリズムである。 pbp-qlpは、競合するランダムアルゴリズムよりも、現代のコンピュータアーキテクチャを利用することができる。
  論文  参考訳（メタデータ） (2021-03-12T12:53:04Z)
• From Two-Class Linear Discriminant Analysis to Interpretable Multilayer Perceptron Design [31.446335485087758]
  2クラス線形判別式解析(LDA)における閉形式解の存在 多層パーセプトロン(MLP)を2クラスLDAシステムの一般化として解釈する。 フィードフォワードのワンパス方式でネットワークアーキテクチャと全フィルタ重みを指定できる自動設計を提案する。
  論文  参考訳（メタデータ） (2020-09-09T17:43:39Z)
• SURF: A Simple, Universal, Robust, Fast Distribution Learning Algorithm [64.13217062232874]
  SURFは分布を断片的に近似するアルゴリズムである。 実験では最先端のアルゴリズムよりも優れています。
  論文  参考訳（メタデータ） (2020-02-22T01:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。