論文の概要: $\Pi-$nets: Deep Polynomial Neural Networks

• arxiv url: http://arxiv.org/abs/2003.03828v2
• Date: Thu, 26 Mar 2020 17:25:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 13:58:25.326421
• Title: $\Pi-$nets: Deep Polynomial Neural Networks
• Title（参考訳）: $\pi-$nets:ディープ多項式ニューラルネットワーク
• Authors: Grigorios G. Chrysos, Stylianos Moschoglou, Giorgos Bouritsas, Yannis Panagakis, Jiankang Deng, Stefanos Zafeiriou
• Abstract要約: $Pi$-Netsは、出力が入力の高次であるニューラルネットワークである。 我々は、$Pi$-Netsが標準のDCNNよりも優れた表現能力を持っていることを実証的に実証した。 近年のStyleGANのような生成モデルが,先行モデルに改良を加えた理由を解明する。
• 参考スコア（独自算出の注目度）: 86.36557534288535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Convolutional Neural Networks (DCNNs) is currently the method of choice both for generative, as well as for discriminative learning in computer vision and machine learning. The success of DCNNs can be attributed to the careful selection of their building blocks (e.g., residual blocks, rectifiers, sophisticated normalization schemes, to mention but a few). In this paper, we propose $\Pi$-Nets, a new class of DCNNs. $\Pi$-Nets are polynomial neural networks, i.e., the output is a high-order polynomial of the input. $\Pi$-Nets can be implemented using special kind of skip connections and their parameters can be represented via high-order tensors. We empirically demonstrate that $\Pi$-Nets have better representation power than standard DCNNs and they even produce good results without the use of non-linear activation functions in a large battery of tasks and signals, i.e., images, graphs, and audio. When used in conjunction with activation functions, $\Pi$-Nets produce state-of-the-art results in challenging tasks, such as image generation. Lastly, our framework elucidates why recent generative models, such as StyleGAN, improve upon their predecessors, e.g., ProGAN.
• Abstract（参考訳）: 深層畳み込みニューラルネットワーク(deep convolutional neural networks, dcnns)は現在、生成とコンピュータビジョンと機械学習における識別学習の両方の方法である。 dcnnの成功は、そのビルディングブロック(例えば、残差ブロック、整流器、洗練された正規化スキームなど)を慎重に選択することに起因する。 本稿では,DCNNの新しいクラスである$\Pi$-Netsを提案する。 $\pi$-nets は多項式ニューラルネットワーク、すなわち出力は入力の高階多項式である。 $\pi$-nets は特別な種類のスキップ接続を使って実装でき、それらのパラメータは高階テンソルで表現できる。 我々は、$\Pi$-Netsが標準のDCNNよりも優れた表現能力を持つことを実証的に証明し、画像、グラフ、オーディオなどのタスクや信号の大きなバッテリーで非線形のアクティベーション関数を使わずに良い結果が得られることを示した。 アクティベーション関数と併用すると、$\Pi$-Netsは画像生成のような困難なタスクで最先端の結果を生成する。 最後に、我々のフレームワークは、最近の生成モデルであるStyleGANが、前者であるProGANを改良する理由を解明する。

関連論文リスト

• Lightweight Pixel Difference Networks for Efficient Visual Representation Learning [20.345417462198725]
  emphPixel Different Convolution (PDC) と Binary PDC (Bi-PDC) という2種類の新しいコンボリューションを提案する。 エッジ検出やオブジェクト認識などの視覚的タスクに対して,高効率かつ高精度な表現を学習するために,emphPixel Different Networks (PiDiNet) とemph Binary PiDiNet (Bi-PiDiNet) という2つの軽量ディープネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:39:31Z)
• Regularization of polynomial networks for image recognition [78.4786845859205]
  PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。 6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
  論文  参考訳（メタデータ） (2023-03-24T10:05:22Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Pruning and Slicing Neural Networks using Formal Verification [0.2538209532048866]
  ディープニューラルネットワーク(DNN)は、様々なコンピュータシステムにおいてますます重要な役割を担っている。 これらのネットワークを作成するために、エンジニアは通常、望ましいトポロジを指定し、自動トレーニングアルゴリズムを使用してネットワークの重みを選択する。 本稿では,近年のDNN検証の進歩を活用して,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-05-28T07:53:50Z)
• BCNN: Binary Complex Neural Network [16.82755328827758]
  バイナリニューラルネットワーク(BNN)は、リソース制限のあるハードウェアを備えたエッジサイドアプリケーションにおいて、大きな可能性を秘めている。 本稿では,BNNに複雑な表現を導入し,バイナリ・コンプレックス・ニューラルネットワークを提案する。 BCNNは、複雑な表現を通じて学習能力を強化し、複雑な値の入力データに適用性を拡張することにより、BNNを改善している。
  論文  参考訳（メタデータ） (2021-03-28T03:35:24Z)
• Block-term Tensor Neural Networks [29.442026567710435]
  ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。 CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
  論文  参考訳（メタデータ） (2020-10-10T09:58:43Z)
• Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
  グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。 少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。 本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
  論文  参考訳（メタデータ） (2020-07-14T07:43:09Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。