論文の概要: Equivalence between algorithmic instability and transition to replica symmetry breaking in perceptron learning systems

• arxiv url: http://arxiv.org/abs/2111.13302v1
• Date: Fri, 26 Nov 2021 03:23:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 17:48:38.744510
• Title: Equivalence between algorithmic instability and transition to replica symmetry breaking in perceptron learning systems
• Title（参考訳）: パーセプトロン学習系におけるアルゴリズム不安定性とレプリカ対称性破断への遷移の等価性
• Authors: Yang Zhao, Junbin Qiu, Mingshan Xie, Haiping Huang
• Abstract要約: バイナリパーセプトロンは非アルゴリズム最適化のための教師あり学習のモデルである。 レプリカサドル点を破る不安定性は自由エネルギー関数と同一であることを示す。
• 参考スコア（独自算出の注目度）: 16.065867388984078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary perceptron is a fundamental model of supervised learning for the non-convex optimization, which is a root of the popular deep learning. Binary perceptron is able to achieve a classification of random high-dimensional data by computing the marginal probabilities of binary synapses. The relationship between the algorithmic instability and the equilibrium analysis of the model remains elusive. Here, we establish the relationship by showing that the instability condition around the algorithmic fixed point is identical to the instability for breaking the replica symmetric saddle point solution of the free energy function. Therefore, our analysis provides insights towards bridging the gap between non-convex learning dynamics and statistical mechanics properties of more complex neural networks.
• Abstract（参考訳）: binary perceptronは非凸最適化のための教師付き学習の基本モデルであり、一般的なディープラーニングの根源となっている。 バイナリパーセプトロンは、バイナリシナプスの限界確率を計算することにより、ランダムな高次元データの分類を達成することができる。 アルゴリズムの不安定性とモデルの平衡解析の関係はいまだ解明されていない。 本稿では,アルゴリズムの不動点周辺の不安定条件が自由エネルギー関数のレプリカ対称鞍点解を破る不安定条件と同一であることを示すことにより,その関係性を確立する。 そこで本研究では,非凸学習ダイナミクスとより複雑なニューラルネットワークの統計力学特性との橋渡しに関する知見を提供する。

関連論文リスト

• Stability properties of gradient flow dynamics for the symmetric low-rank matrix factorization problem [22.648448759446907]
  多くの学習課題において,低ランク因子化がビルディングブロックとして機能することを示す。 ダイナミクスの局所的な探索部分に関連する軌跡の形状に関する新たな知見を提供する。
  論文  参考訳（メタデータ） (2024-11-24T20:05:10Z)
• Two Tales of Single-Phase Contrastive Hebbian Learning [9.84489449520821]
  完全局所学習アルゴリズムである「二重伝搬」は,性能ギャップをバックプロパゲーションに埋めることが可能であることを示す。 このアルゴリズムは、その数値安定性が、生物学的およびアナログ的な実装において制限的な対称ヌーディングに依存しているという欠点がある。
  論文  参考訳（メタデータ） (2024-02-13T16:21:18Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• A Causality-Based Learning Approach for Discovering the Underlying Dynamics of Complex Systems from Partial Observations with Stochastic Parameterization [1.2882319878552302]
  本稿では,部分的な観測を伴う複雑な乱流系の反復学習アルゴリズムを提案する。 モデル構造を識別し、観測されていない変数を復元し、パラメータを推定する。 数値実験により、新しいアルゴリズムはモデル構造を同定し、多くの複雑な非線形系に対して適切なパラメータ化を提供することに成功した。
  論文  参考訳（メタデータ） (2022-08-19T00:35:03Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Contraction Theory for Nonlinear Stability Analysis and Learning-based Control: A Tutorial Overview [17.05002635077646]
  収縮理論 (contraction theory) は、非自明(時間変化)非線形系の微分力学を研究するための解析ツールである。 その非線形安定解析は、線形行列の不等式として表される安定性条件を満たす適切な収縮計量を見つけるために沸騰する。
  論文  参考訳（メタデータ） (2021-10-01T23:03:21Z)
• Exact solutions of interacting dissipative systems via weak symmetries [77.34726150561087]
  我々は任意の強い相互作用や非線形性を持つクラスマルコフ散逸系(英語版)のリウヴィリアンを解析的に対角化する。 これにより、フルダイナミックスと散逸スペクトルの正確な記述が可能になる。 我々の手法は他の様々なシステムに適用でき、複雑な駆動散逸量子系の研究のための強力な新しいツールを提供することができる。
  論文  参考訳（メタデータ） (2021-09-27T17:45:42Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。