論文の概要: Deep Polynomial Neural Networks

• arxiv url: http://arxiv.org/abs/2006.13026v2
• Date: Sat, 27 Feb 2021 13:32:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 21:51:38.839024
• Title: Deep Polynomial Neural Networks
• Title（参考訳）: 深部多項式ニューラルネットワーク
• Authors: Grigorios Chrysos, Stylianos Moschoglou, Giorgos Bouritsas, Jiankang Deng, Yannis Panagakis, Stefanos Zafeiriou
• Abstract要約: $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
• 参考スコア（独自算出の注目度）: 77.70761658507507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Convolutional Neural Networks (DCNNs) are currently the method of choice both for generative, as well as for discriminative learning in computer vision and machine learning. The success of DCNNs can be attributed to the careful selection of their building blocks (e.g., residual blocks, rectifiers, sophisticated normalization schemes, to mention but a few). In this paper, we propose $\Pi$-Nets, a new class of function approximators based on polynomial expansions. $\Pi$-Nets are polynomial neural networks, i.e., the output is a high-order polynomial of the input. The unknown parameters, which are naturally represented by high-order tensors, are estimated through a collective tensor factorization with factors sharing. We introduce three tensor decompositions that significantly reduce the number of parameters and show how they can be efficiently implemented by hierarchical neural networks. We empirically demonstrate that $\Pi$-Nets are very expressive and they even produce good results without the use of non-linear activation functions in a large battery of tasks and signals, i.e., images, graphs, and audio. When used in conjunction with activation functions, $\Pi$-Nets produce state-of-the-art results in three challenging tasks, i.e. image generation, face verification and 3D mesh representation learning. The source code is available at \url{https://github.com/grigorisg9gr/polynomial_nets}.
• Abstract（参考訳）: 深層畳み込みニューラルネットワーク(deep convolutional neural networks, dcnns)は現在、生成とコンピュータビジョンと機械学習における識別学習の両方のために選択される方法である。 dcnnの成功は、そのビルディングブロック(例えば、残差ブロック、整流器、洗練された正規化スキームなど)を慎重に選択することに起因する。 本稿では,多項式展開に基づく関数近似子の新たなクラスである$\pi$-netsを提案する。 $\pi$-nets は多項式ニューラルネットワーク、すなわち出力は入力の高階多項式である。 高次テンソルによって自然に表される未知のパラメータは、因子の共有を伴う集合テンソル因子分解によって推定される。 パラメータ数を著しく削減する3つのテンソル分解を導入し、階層型ニューラルネットワークで効率的に実装する方法を示す。 我々は、$\Pi$-Netsが非常に表現力があり、画像、グラフ、オーディオなどのタスクや信号の大きなバッテリーで非線形のアクティベーション関数を使わずに良い結果が得られることを実証的に実証した。 アクティベーション関数と併用すると、$\Pi$-Netsは3つの課題、すなわち画像生成、顔検証、および3Dメッシュ表現学習を生成する。 ソースコードは \url{https://github.com/grigorisg9gr/polynomial_nets} で入手できる。

関連論文リスト

• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Factor Graph Neural Networks [20.211455592922736]
  グラフニューラルネットワーク(GNN)は、多くの現実世界のアプリケーションで大きな成功を収めながら、エンドツーエンドで強力な表現を学習することができる。 推論と学習の高次関係を効果的に捉えるためにFGNN(Facter Graph Neural Networks)を提案する。
  論文  参考訳（メタデータ） (2023-08-02T00:32:02Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Optimal Approximation with Sparse Neural Networks and Applications [0.0]
  深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。 また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。 次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
  論文  参考訳（メタデータ） (2021-08-14T05:14:13Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• $\Pi-$nets: Deep Polynomial Neural Networks [86.36557534288535]
  $Pi$-Netsは、出力が入力の高次であるニューラルネットワークである。 我々は、$Pi$-Netsが標準のDCNNよりも優れた表現能力を持っていることを実証的に実証した。 近年のStyleGANのような生成モデルが,先行モデルに改良を加えた理由を解明する。
  論文  参考訳（メタデータ） (2020-03-08T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。