論文の概要: Complexity from Adaptive-Symmetries Breaking: Global Minima in the
Statistical Mechanics of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2201.07934v1
- Date: Mon, 3 Jan 2022 09:06:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-23 18:26:42.541677
- Title: Complexity from Adaptive-Symmetries Breaking: Global Minima in the
Statistical Mechanics of Deep Neural Networks
- Title（参考訳）: 適応対称性の破れからの複雑さ:ディープニューラルネットワークの統計力学における大域最小化
- Authors: Shawn W. M. Li
- Abstract要約: 深部ニューラルネットワーク(DNN)を理解するために、物理における保守対称性への適応対称性というアンチセティカル概念を提案する。
我々はDNNシステムの最適化過程を適応対称性破りの拡張プロセスとして特徴付けている。
より具体的には、この過程は統計物理学の一般化として評価できる統計力学モデルによって特徴づけられる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An antithetical concept, adaptive symmetry, to conservative symmetry in
physics is proposed to understand the deep neural networks (DNNs). It
characterizes the invariance of variance, where a biotic system explores
different pathways of evolution with equal probability in absence of feedback
signals, and complex functional structure emerges from quantitative
accumulation of adaptive-symmetries breaking in response to feedback signals.
Theoretically and experimentally, we characterize the optimization process of a
DNN system as an extended adaptive-symmetry-breaking process. One particular
finding is that a hierarchically large DNN would have a large reservoir of
adaptive symmetries, and when the information capacity of the reservoir exceeds
the complexity of the dataset, the system could absorb all perturbations of the
examples and self-organize into a functional structure of zero training errors
measured by a certain surrogate risk. More specifically, this process is
characterized by a statistical-mechanical model that could be appreciated as a
generalization of statistics physics to the DNN organized complex system, and
characterizes regularities in higher dimensionality. The model consists of
three constitutes that could be appreciated as the counterparts of Boltzmann
distribution, Ising model, and conservative symmetry, respectively: (1) a
stochastic definition/interpretation of DNNs that is a multilayer probabilistic
graphical model, (2) a formalism of circuits that perform biological
computation, (3) a circuit symmetry from which self-similarity between the
microscopic and the macroscopic adaptability manifests. The model is analyzed
with a method referred as the statistical assembly method that analyzes the
coarse-grained behaviors (over a symmetry group) of the heterogeneous
hierarchical many-body interaction in DNNs.
- Abstract（参考訳）: 深層ニューラルネットワーク(DNN)を理解するために、物理における保守対称性への適応対称性というアンチセティカル概念を提案する。
生物系はフィードバック信号がない場合に同じ確率で進化の異なる経路を探索し、複雑な機能構造はフィードバック信号に応答して適応対称性の破れを定量的に蓄積することによって生じる。
理論的および実験的に、DNNシステムの最適化過程を拡張適応対称性破砕過程として特徴づける。
1つの顕著な発見は、階層的に大きなDNNは適応対称性の大きな貯水池を持ち、貯水池の情報容量がデータセットの複雑さを超えると、システムはサンプルの摂動をすべて吸収し、特定の代理リスクによって測定されたゼロトレーニングエラーの関数構造に自己組織化する。
より具体的には、この過程は統計力学モデルによって特徴づけられ、統計物理学をDNNの体系化された複雑系に一般化し、高次元における正則性を特徴づける。
モデルはボルツマン分布(英語版)、イジングモデル(英語版)、保守対称性(英語版)の3つの構成から成り、(1)多層確率的グラフィカルモデルであるDNNの確率的定義・解釈、(2)生物学的計算を行う回路の定式化、(3)顕微鏡とマクロ的適応性の間の自己相似性を示す回路対称性である。
このモデルは、DNNにおける不均一な階層的多体相互作用の粗粒度挙動(対称性群)を解析する統計組立法と呼ばれる手法を用いて解析される。
関連論文リスト
- Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Discovering Symmetry Breaking in Physical Systems with Relaxed Group Convolution [21.034937143252314]
我々は、リラックスしたグループ畳み込みを用いてデータの非対称性を学習することに集中する。
我々は、様々な物理系において解釈可能で物理的に意味のある様々な対称性を破る要因を明らかにする。
論文 参考訳（メタデータ） (2023-10-03T14:03:21Z) - On discrete symmetries of robotics systems: A group-theoretic and
data-driven analysis [38.92081817503126]
力学系の離散的形態対称性について検討する。
これらの対称性は、系の形態学における1つ以上の平面/対称性の軸の存在から生じる。
我々はこれらの対称性をデータ拡張と$G$-equivariant Neural Networkを用いて活用する。
論文 参考訳（メタデータ） (2023-02-21T04:10:16Z) - Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。
理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。
本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
論文 参考訳（メタデータ） (2022-10-12T06:46:38Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳（メタデータ） (2021-10-26T14:26:25Z) - A deep learning driven pseudospectral PCE based FFT homogenization
algorithm for complex microstructures [68.8204255655161]
提案手法は,従来の手法よりも高速に評価できる一方で,興味の中心モーメントを予測できることを示す。
提案手法は,従来の手法よりも高速に評価できると同時に,興味の中心モーメントを予測できることを示す。
論文 参考訳（メタデータ） (2021-10-26T07:02:14Z) - Sampling asymmetric open quantum systems for artificial neural networks [77.34726150561087]
非対称な開系に対する高速収束時間と高いスケーラビリティを実現し,非対称性を考慮したハイブリッドサンプリング戦略を提案する。
我々は、ニューラルネットワークの普遍的適用性を強調し、ニューラルネットワークの普遍的適用性を概説する。
論文 参考訳（メタデータ） (2020-12-20T18:25:29Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Higher-order interactions in statistical physics and machine learning: A
model-independent solution to the inverse problem at equilibrium [0.0]
複素系における対方向と高次の相互作用を推論する逆問題は、多くの分野において基本的な問題である。
我々は、全階対称相互作用の普遍的、モデルに依存しない、基本的に偏りのない推定器を導入する。
論文 参考訳（メタデータ） (2020-06-10T18:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。