論文の概要: Free Probability, Newton lilypads and Jacobians of neural networks

• arxiv url: http://arxiv.org/abs/2111.00841v1
• Date: Mon, 1 Nov 2021 11:22:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 13:24:46.038945
• Title: Free Probability, Newton lilypads and Jacobians of neural networks
• Title（参考訳）: ニューラルネットワークにおける自由確率、ニュートンリリパッドおよびジャコビアン
• Authors: Reda Chhaibi, Tariq Daouda, Ezechiel Kahn
• Abstract要約: 我々は、関連するスペクトル密度を計算するための信頼性が高く、非常に高速な方法を提案する。 提案手法は,アトラクションの流域の発見と連鎖により,適応的なニュートン・ラフソン計画に基づく。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient descent during the learning process of a neural network can be subject to many instabilities. The spectral density of the Jacobian is a key component for analyzing robustness. Following the works of Pennington et al., such Jacobians are modeled using free multiplicative convolutions from Free Probability Theory. We present a reliable and very fast method for computing the associated spectral densities. This method has a controlled and proven convergence. Our technique is based on an adaptative Newton-Raphson scheme, by finding and chaining basins of attraction: the Newton algorithm finds contiguous lilypad-like basins and steps from one to the next, heading towards the objective. We demonstrate the applicability of our method by using it to assess how the learning process is affected by network depth, layer widths and initialization choices: empirically, final test losses are very correlated to our Free Probability metrics.
• Abstract（参考訳）: ニューラルネットワークの学習過程における勾配降下は多くの不安定性を伴う。 ヤコビアンのスペクトル密度はロバスト性を分析する重要な要素である。 ペニントンらの研究に続いて、そのようなヤコビアンは自由確率論からの自由乗法畳み込みを用いてモデル化される。 本稿では,関連するスペクトル密度を計算するための信頼性の高い高速手法を提案する。 この方法は制御され、証明された収束を有する。 我々の手法は, 適応的なニュートン・ラフソンスキームに基づいてアトラクションの流域を探索し, チェーン化することで, ライパッドのような連続的な流域と, 目的に向かってのステップを見つける。 本稿では,学習プロセスがネットワークの深さ,層幅,初期化選択によってどのように影響を受けるかを評価することにより,本手法の適用性を示す。

関連論文リスト

• On the Hardness of Probabilistic Neurosymbolic Learning [10.180468225166441]
  ニューロシンボリックモデルにおける確率的推論の微分の複雑さについて検討する。 モデルサンプリングに基づく非バイアス勾配推定器WeightMEを紹介する。 我々の実験は、まだ正確な解が可能である場合でも、既存の偏差近似は最適化に苦慮していることを示している。
  論文  参考訳（メタデータ） (2024-06-06T19:56:33Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Robust Explanation Constraints for Neural Networks [33.14373978947437]
  ニューラルネットワークの意図で使われるポストホックな説明法は、しばしば彼らの出力を信頼するのに役立つと言われている。 我々のトレーニング方法は、ニューラルネットワークを学習できる唯一の方法であり、6つのテストネットワークでテストされた堅牢性に関する洞察を持つ。
  論文  参考訳（メタデータ） (2022-12-16T14:40:25Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Newton methods based convolution neural networks using parallel processing [3.9220281834178463]
  畳み込みニューラルネットワークの訓練は高次元かつ非パラメトリック最適化問題である。 畳み込みニューラルネットワークのニュートン法は、サブサンプルのヘッセンニュートン法を用いてこれを扱う。 ミニバッチ計算ではシリアル処理の代わりに並列処理を用いてきた。
  論文  参考訳（メタデータ） (2021-12-02T16:42:27Z)
• DONE: Distributed Approximate Newton-type Method for Federated Edge Learning [41.20946186966816]
  DONEは高速収束率を持つニュートン型分散近似アルゴリズムである。 DONEがニュートンの手法に匹敵する性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-12-10T12:25:34Z)
• Deep Archimedean Copulas [98.96141706464425]
  ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。 我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
  論文  参考訳（メタデータ） (2020-12-05T22:58:37Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• How Powerful are Shallow Neural Networks with Bandlimited Random Weights? [25.102870584507244]
  制限深度2バンドランダムニューラルネットワークの表現力について検討する。 ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
  論文  参考訳（メタデータ） (2020-08-19T13:26:12Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。