論文の概要: Efficient anti-symmetrization of a neural network layer by taming the sign problem

• arxiv url: http://arxiv.org/abs/2205.12250v2
• Date: Thu, 7 Sep 2023 00:44:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 18:18:56.306072
• Title: Efficient anti-symmetrization of a neural network layer by taming the sign problem
• Title（参考訳）: 符号問題を用いたニューラルネットワーク層の効率的なアンチ・シンメトリゼーション
• Authors: Nilin Abrahamsen, Lin Lin
• Abstract要約: ニューラルネットワークの明示的なアンチシンメトリゼーションは、普遍関数近似器の潜在的な候補である。 2層ニューラルネットワークの反対称投射を効率よく評価できることを示す。
• 参考スコア（独自算出の注目度）: 0.9875892088146111
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explicit antisymmetrization of a neural network is a potential candidate for a universal function approximator for generic antisymmetric functions, which are ubiquitous in quantum physics. However, this procedure is a priori factorially costly to implement, making it impractical for large numbers of particles. The strategy also suffers from a sign problem. Namely, due to near-exact cancellation of positive and negative contributions, the magnitude of the antisymmetrized function may be significantly smaller than before anti-symmetrization. We show that the anti-symmetric projection of a two-layer neural network can be evaluated efficiently, opening the door to using a generic antisymmetric layer as a building block in anti-symmetric neural network Ansatzes. This approximation is effective when the sign problem is controlled, and we show that this property depends crucially the choice of activation function under standard Xavier/He initialization methods. As a consequence, using a smooth activation function requires re-scaling of the neural network weights compared to standard initializations.
• Abstract（参考訳）: ニューラルネットワークの明示的な反対称性は、量子物理学においてユビキタスである汎用反対称関数の普遍関数近似子の潜在的な候補である。 しかし、この手順は実装に優先的にコストがかかるため、多数の粒子に対して実用的ではない。 戦略もサインの問題に悩まされている。 すなわち、正と負の寄与のほぼ実効的なキャンセルのため、反対称性関数の大きさは、反対称性よりもかなり小さい可能性がある。 二層ニューラルネットワークの反対称射影を効率的に評価でき、反対称ニューラルネットワークansatzesのビルディングブロックとして汎用反対称層を用いてドアを開くことができる。 この近似は符号問題を制御する場合に有効であり、この性質は標準xavier/he初期化法の下での活性化関数の選択に大きく依存することを示す。 その結果、スムースなアクティベーション関数を使用するには、標準初期化と比較してニューラルネットワークの重みを再スケーリングする必要がある。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• On Representing Electronic Wave Functions with Sign Equivariant Neural Networks [10.80375466357108]
  最近のニューラルネットワークは、電子基底波関数の驚くほど正確な近似を示した。 これらのニューラルネットワークは通常、置換同変ニューラルネットワークと置換反対称演算からなる。 正確性はあるものの、そのようなニューラルネットワークは計算コストが高い。
  論文  参考訳（メタデータ） (2024-03-08T12:13:11Z)
• On Excess Risk Convergence Rates of Neural Network Classifiers [8.329456268842227]
  本稿では,ニューラルネットワークを用いた2値分類におけるプラグイン分類器の性能を,その過大なリスクによって測定した。 ニューラルネットワークの推定と近似特性を分析し,次元自由で均一な収束率を求める。
  論文  参考訳（メタデータ） (2023-09-26T17:14:10Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• L4-Norm Weight Adjustments for Converted Spiking Neural Networks [6.417011237981518]
  スパイキングニューラルネットワーク(SNN)は、その潜在的なエネルギー効率の利点について検討されている。 非スパイク人工ニューラルネットワークは通常、バックプロパゲーションを使用して勾配降下で訓練される。 一般的な手法の1つは、スパイクニューラルネットワークをトレーニングし、スパイクネットワークに変換することである。
  論文  参考訳（メタデータ） (2021-11-17T23:33:20Z)
• Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off [10.182922771556742]
  本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。 過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T03:52:18Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。