論文の概要: A Training Framework for Optimal and Stable Training of Polynomial Neural Networks

• arxiv url: http://arxiv.org/abs/2505.11589v1
• Date: Fri, 16 May 2025 18:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.727632
• Title: A Training Framework for Optimal and Stable Training of Polynomial Neural Networks
• Title（参考訳）: ニューラルネットワークの最適安定学習のための学習フレームワーク
• Authors: Forsad Al Hossain, Tauhidur Rahman,
• Abstract要約: PNN(Polynomial Neural Networks)は、HEによるプライバシ保護暗号化などのアプリケーションにおいて重要な機能である。 低次はモデル表現性を制限することができるが、高次は数値不安定性や勾配爆発に悩まされることが多い。 本稿は,1)所定の安定範囲外において入力を指数関数的にペナルティ化する境界損失,2)本質的な正規化統計を保ちながら,勾配を効果的にテーパーする選択的な勾配クリッピング,の2つの革新を特徴とする,堅牢で汎用的なトレーニングフレームワークを紹介する。
• 参考スコア（独自算出の注目度）: 0.462761393623313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: By replacing standard non-linearities with polynomial activations, Polynomial Neural Networks (PNNs) are pivotal for applications such as privacy-preserving inference via Homomorphic Encryption (HE). However, training PNNs effectively presents a significant challenge: low-degree polynomials can limit model expressivity, while higher-degree polynomials, crucial for capturing complex functions, often suffer from numerical instability and gradient explosion. We introduce a robust and versatile training framework featuring two synergistic innovations: 1) a novel Boundary Loss that exponentially penalizes activation inputs outside a predefined stable range, and 2) Selective Gradient Clipping that effectively tames gradient magnitudes while preserving essential Batch Normalization statistics. We demonstrate our framework's broad efficacy by training PNNs within deep architectures composed of HE-compatible layers (e.g., linear layers, average pooling, batch normalization, as used in ResNet variants) across diverse image, audio, and human activity recognition datasets. These models consistently achieve high accuracy with low-degree polynomial activations (such as degree 2) and, critically, exhibit stable training and strong performance with polynomial degrees up to 22, where standard methods typically fail or suffer severe degradation. Furthermore, the performance of these PNNs achieves a remarkable parity, closely approaching that of their original ReLU-based counterparts. Extensive ablation studies validate the contributions of our techniques and guide hyperparameter selection. We confirm the HE-compatibility of the trained models, advancing the practical deployment of accurate, stable, and secure deep learning inference.
• Abstract（参考訳）: 標準の非線形性を多項式アクティベーションに置き換えることによって、PNN(Polynomial Neural Networks)は、ホモモルフィック暗号化(HE)によるプライバシ保護推論(英語版)のようなアプリケーションにおいて重要な役割を果たす。 低次多項式はモデル表現性を制限するが、高次多項式は複雑な関数を捉えるのに不可欠であり、しばしば数値不安定性と勾配爆発に悩まされる。 2つのシナジスティックな革新を特徴とする、堅牢で汎用的なトレーニングフレームワークを導入します。 1) 予め定義された安定範囲外において、アクティベーション入力を指数関数的に罰する新しい境界損失 2) 決定的バッチ正規化統計を保存しつつ, 効率よく勾配等級をテームする選択的勾配クリッピング法について検討した。 HE互換層(例えば、線形層、平均プール、バッチ正規化、ResNet変種で使用されるバッチ正規化)で構成されたディープアーキテクチャ内のPNNを、多様な画像、オーディオ、ヒューマンアクティビティ認識データセットでトレーニングすることで、フレームワークの有効性を実証する。 これらのモデルは、(次数のような)低次多項式の活性化で常に高い精度を達成する。 2) 重要な点として, 多項式次数22までの安定トレーニングと強靭な性能を示し, 標準手法は一般的に失敗するか, 深刻な劣化に苦しむ。 さらに、これらのPNNの性能は、元のReLUベースのPNNに近づき、顕著な同等性を実現している。 広範囲にわたるアブレーション研究は、我々の手法の貢献を検証し、ハイパーパラメータの選択をガイドする。 トレーニングされたモデルのHE適合性を確認し、正確で安定したセキュアなディープラーニング推論の実践的展開を進める。

関連論文リスト

• Dual Cone Gradient Descent for Training Physics-Informed Neural Networks [0.0]
  物理インフォームド・デュアルニューラルネットワーク(PINN)は偏微分方程式の解法として注目されている。 コーン領域内に落下するのを確実にするために、更新された勾配の方向を調節する新しいフレームワークであるDual Cone Gradient Descent (DCGD)を提案する。
  論文  参考訳（メタデータ） (2024-09-27T03:27:46Z)
• Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization [40.68266398473983]
  敵対的攻撃に対して堅牢なニューラルネットワークのトレーニングは、ディープラーニングにおいて依然として重要な問題である。 凸プログラムとして2層ReLUおよびfty$アクティベーションネットワークのトレーニング問題を再構成する。 本研究では,大規模問題に対する凸対向訓練の実用性を示す。
  論文  参考訳（メタデータ） (2024-05-22T22:08:13Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Training Large Scale Polynomial CNNs for E2E Inference over Homomorphic Encryption [33.35896071292604]
  推論中に同型暗号化(HE)で実行できる大規模なCNNのトレーニングは難しい。 本稿ではResNet-152やConvNeXtモデルのような大規模CNNのための新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-26T20:41:37Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
  この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。 第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。 本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-13T09:51:16Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。