論文の概要: Taming the sign problem of explicitly antisymmetrized neural networks via rough activation functions

• arxiv url: http://arxiv.org/abs/2205.12250v1
• Date: Tue, 24 May 2022 17:56:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-05 09:40:30.713392
• Title: Taming the sign problem of explicitly antisymmetrized neural networks via rough activation functions
• Title（参考訳）: ラフアクティベーション関数による明示的反対称性ニューラルネットワークの符号問題の改ざん
• Authors: Nilin Abrahamsen, Lin Lin
• Abstract要約: 二層ニューラルネットワークの明示的反対称性化は、一般的な反対称関数に対する普遍関数近似の潜在的な候補である。 我々は,符号問題の重大さが活性化関数の滑らかさに直接関係していることを証明する。 このようなネットワークを近似的に評価するための効率的なアルゴリズムについて述べる。
• 参考スコア（独自算出の注目度）: 1.8076403084528587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explicit antisymmetrization of a two-layer neural network is a potential candidate for a universal function approximator for generic antisymmetric functions, which are ubiquitous in quantum physics. However, this strategy suffers from a sign problem, namely, due to near exact cancellation of positive and negative contributions, the magnitude of the antisymmetrized function may be significantly smaller than that before antisymmetrization. We prove that the severity of the sign problem is directly related to the smoothness of the activation function. For smooth activation functions (e.g., $\tanh$), the sign problem of the explicitly antisymmetrized two-layer neural network deteriorates super-polynomially with respect to the system size. On the other hand, for rough activation functions (e.g., ReLU), the deterioration rate of the sign problem can be tamed to be at most polynomial with respect to the system size. Finally, the cost of a direct implementation of antisymmetrized two-layer neural network scales factorially with respect to the system size. We describe an efficient algorithm for approximate evaluation of such a network, of which the cost scales polynomially with respect to the system size and inverse precision.
• Abstract（参考訳）: 2層ニューラルネットワークの明示的反対称性化は、量子物理学においてユビキタスな一般的な反対称関数に対する普遍関数近似の候補である。 しかし、この戦略は符号問題、すなわち正および負の寄与がほぼ正確にキャンセルされたために、反対称性化関数の大きさは反対称性化前のそれよりも著しく小さくなる可能性がある。 符号問題の重大度は活性化関数の滑らかさに直接関係していることを証明する。 円滑な活性化関数(例えば$\tanh$)では、明示的に反対称性化された2層ニューラルネットワークの符号問題はシステムサイズに関して超ポリノミカルに劣化する。 一方、ラフアクティベーション関数(例えばrelu)では、符号問題の劣化率はシステムサイズに対して最大多項式となるように変更することができる。 最後に、反対称性2層ニューラルネットワークの直接実装のコストは、システムサイズに対して2倍にスケールする。 本稿では,システムサイズと逆精度に対して,コストが多項式的にスケールするネットワークの近似評価のための効率的なアルゴリズムについて述べる。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• On Representing Electronic Wave Functions with Sign Equivariant Neural Networks [10.80375466357108]
  最近のニューラルネットワークは、電子基底波関数の驚くほど正確な近似を示した。 これらのニューラルネットワークは通常、置換同変ニューラルネットワークと置換反対称演算からなる。 正確性はあるものの、そのようなニューラルネットワークは計算コストが高い。
  論文  参考訳（メタデータ） (2024-03-08T12:13:11Z)
• On Excess Risk Convergence Rates of Neural Network Classifiers [8.329456268842227]
  本稿では,ニューラルネットワークを用いた2値分類におけるプラグイン分類器の性能を,その過大なリスクによって測定した。 ニューラルネットワークの推定と近似特性を分析し,次元自由で均一な収束率を求める。
  論文  参考訳（メタデータ） (2023-09-26T17:14:10Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• L4-Norm Weight Adjustments for Converted Spiking Neural Networks [6.417011237981518]
  スパイキングニューラルネットワーク(SNN)は、その潜在的なエネルギー効率の利点について検討されている。 非スパイク人工ニューラルネットワークは通常、バックプロパゲーションを使用して勾配降下で訓練される。 一般的な手法の1つは、スパイクニューラルネットワークをトレーニングし、スパイクネットワークに変換することである。
  論文  参考訳（メタデータ） (2021-11-17T23:33:20Z)
• Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off [10.182922771556742]
  本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。 過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T03:52:18Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。