論文の概要: Regularization of polynomial networks for image recognition

• arxiv url: http://arxiv.org/abs/2303.13896v1
• Date: Fri, 24 Mar 2023 10:05:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 15:08:46.180937
• Title: Regularization of polynomial networks for image recognition
• Title（参考訳）: 画像認識のための多項式ネットワークの規則化
• Authors: Grigorios G Chrysos, Bohan Wang, Jiankang Deng, Volkan Cevher
• Abstract要約: PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。 6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
• 参考スコア（独自算出の注目度）: 78.4786845859205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) have obtained impressive performance across tasks, however they still remain as black boxes, e.g., hard to theoretically analyze. At the same time, Polynomial Networks (PNs) have emerged as an alternative method with a promising performance and improved interpretability but have yet to reach the performance of the powerful DNN baselines. In this work, we aim to close this performance gap. We introduce a class of PNs, which are able to reach the performance of ResNet across a range of six benchmarks. We demonstrate that strong regularization is critical and conduct an extensive study of the exact regularization schemes required to match performance. To further motivate the regularization schemes, we introduce D-PolyNets that achieve a higher-degree of expansion than previously proposed polynomial networks. D-PolyNets are more parameter-efficient while achieving a similar performance as other polynomial networks. We expect that our new models can lead to an understanding of the role of elementwise activation functions (which are no longer required for training PNs). The source code is available at https://github.com/grigorisg9gr/regularized_polynomials.
• Abstract（参考訳）: ディープニューラルネットワーク(Deep Neural Networks, DNN)は、タスク全体にわたって優れたパフォーマンスを得ているが、ブラックボックスとして残っている。 同時に、PN(Polynomial Networks)は、有望な性能と解釈性を改善した代替手法として登場したが、強力なDNNベースラインのパフォーマンスには達していない。 この作業では、パフォーマンスギャップを埋めることを目指しています。 6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。 強正則化が重要であることを実証し,性能に適合するために必要な完全正則化スキームを広範囲に検討した。 正規化スキームをさらに進めるために,従来提案されていた多項式ネットワークよりも高次展開を実現するD-PolyNetを導入する。 D-PolyNetはパラメータ効率が良く、他の多項式ネットワークと同じような性能を実現する。 我々の新しいモデルは、要素的活性化関数(PNの訓練にはもはや必要ない)の役割の理解につながると期待している。 ソースコードはhttps://github.com/grigorisg9gr/regularized_polynomialsで入手できる。

関連論文リスト

• Regularized PolyKervNets: Optimizing Expressiveness and Efficiency for Private Inference in Deep Neural Networks [0.0]
  より小さなネットワークで動的近似を改善する技術としてよく知られているPolyKervNetsに注目する。 我々の主な目的は、大規模ネットワークにおけるPolyKervNetの性能を高めるために、最適化に基づくトレーニングレシピを実証的に探索することである。
  論文  参考訳（メタデータ） (2023-12-23T11:37:18Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper Representations [12.716429755564821]
  DPCN(Deep-Predictive-Coding Network)は、フィードフォワードとフィードバック接続に依存する階層的な生成モデルである。 DPCNの重要な要素は、動的モデルのスパース状態を明らかにする前向きの推論手順である。 我々は,加速近位勾配に基づく実験的および理論的収束性の向上した最適化戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-18T02:30:13Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• Randomized Policy Learning for Continuous State and Action MDPs [8.109579454896128]
  我々は、連続状態と行動空間を持つMDPに対する一般的なポリシー反復アルゴリズムであるtextttRANDPOLを提案する。 課題のある環境で数値性能を示し、それらをディープニューラルネットワークベースのアルゴリズムと比較する。
  論文  参考訳（メタデータ） (2020-06-08T02:49:47Z)
• $\Pi-$nets: Deep Polynomial Neural Networks [86.36557534288535]
  $Pi$-Netsは、出力が入力の高次であるニューラルネットワークである。 我々は、$Pi$-Netsが標準のDCNNよりも優れた表現能力を持っていることを実証的に実証した。 近年のStyleGANのような生成モデルが,先行モデルに改良を加えた理由を解明する。
  論文  参考訳（メタデータ） (2020-03-08T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。