論文の概要: Injectivity of ReLU networks: perspectives from statistical physics
- arxiv url: http://arxiv.org/abs/2302.14112v1
- Date: Mon, 27 Feb 2023 19:51:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 18:58:57.295126
- Title: Injectivity of ReLU networks: perspectives from statistical physics
- Title（参考訳）: ReLUネットワークのインジェクティビティ:統計物理学の視点から
- Authors: Antoine Maillard, Afonso S. Bandeira, David Belius, Ivan Dokmani\'c,
Shuta Nakajima
- Abstract要約: 単一の層, $x mapto mathrmReLU(Wx)$, ランダムガウス$m×n$行列$W$ を考える。
最近の研究は、この問題を球形積分幾何に結び付け、あるランダム集合の期待されるオイラー特性を研究することによって$alpha = fracmn$に対する予想された鋭い射影しきい値を得る。
インジェクティビティは球面の基底状態の性質と同値であることを示す。
- 参考スコア（独自算出の注目度）: 22.357927193774803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When can the input of a ReLU neural network be inferred from its output? In
other words, when is the network injective? We consider a single layer, $x
\mapsto \mathrm{ReLU}(Wx)$, with a random Gaussian $m \times n$ matrix $W$, in
a high-dimensional setting where $n, m \to \infty$. Recent work connects this
problem to spherical integral geometry giving rise to a conjectured sharp
injectivity threshold for $\alpha = \frac{m}{n}$ by studying the expected Euler
characteristic of a certain random set. We adopt a different perspective and
show that injectivity is equivalent to a property of the ground state of the
spherical perceptron, an important spin glass model in statistical physics. By
leveraging the (non-rigorous) replica symmetry-breaking theory, we derive
analytical equations for the threshold whose solution is at odds with that from
the Euler characteristic. Furthermore, we use Gordon's min--max theorem to
prove that a replica-symmetric upper bound refutes the Euler characteristic
prediction. Along the way we aim to give a tutorial-style introduction to key
ideas from statistical physics in an effort to make the exposition accessible
to a broad audience. Our analysis establishes a connection between spin glasses
and integral geometry but leaves open the problem of explaining the
discrepancies.
- Abstract（参考訳）: ReLUニューラルネットワークの入力はその出力からいつ推測できるのか?
言い換えれば、ネットワークはいつ注入されるのか?
1つの層$x \mapsto \mathrm{relu}(wx)$ を考えると、ランダムなガウス的$m \times n$ matrix $w$ であり、ここでは$n, m \to \infty$ である。
最近の研究は、この問題を球形積分幾何学に結び付け、あるランダム集合の期待されるオイラー特性を研究することによって、$\alpha = \frac{m}{n}$の予想された鋭い射影しきい値を与える。
我々は異なる視点を採用し、インジェクティビティが統計物理学において重要なスピングラスモデルである球面パーセプトロンの基底状態の性質と等価であることを示す。
非厳密な)レプリカ対称性の破れ理論を活用することで、ユーラー特性から解が一致するしきい値に対する解析方程式を導出する。
さらに、ゴードンのmin-max定理を用いて、レプリカ対称上界がオイラー特性予測を反論することを示す。
その過程で私たちは,統計物理学の重要なアイデアをチュートリアル形式で紹介し,展示会を幅広い聴衆に公開することを目指しています。
本解析はスピングラスと積分幾何の関係を定めているが,不一致を説明する問題も残している。
関連論文リスト
- Symmetries, correlation functions, and entanglement of general quantum Motzkin spin-chains [0.029541734875307393]
モツキンスピンチェインは、'colorless' (整数スピン$s=1$) や 'colorful'$s geq 2$) の変種を含む、1次元(1D) 局所整数スピンモデルである。
我々はこれらのモデルのいくつかのユニークな性質を解析的に発見し、低エネルギー物理学の新しい相関クラスを示唆する可能性がある。
論文 参考訳（メタデータ） (2024-08-28T18:10:16Z) - Tempered Calculus for ML: Application to Hyperbolic Model Embedding [70.61101116794549]
MLで使用されるほとんどの数学的歪みは、本質的に自然界において積分的である。
本稿では,これらの歪みを改善するための基礎的理論とツールを公表し,機械学習の要件に対処する。
我々は、最近MLで注目を集めた問題、すなわち、ハイパーボリック埋め込みを「チープ」で正確なエンコーディングで適用する方法を示す。
論文 参考訳（メタデータ） (2024-02-06T17:21:06Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - One-dimensional pseudoharmonic oscillator: classical remarks and
quantum-information theory [0.0]
位置の正の二次函数と逆二次函数の組合せであるポテンシャルの運動を考える。
粒子エネルギーと、その成分の相対的な強度を記述する因子である$mathfraka$について述べる。
論文 参考訳（メタデータ） (2023-04-13T11:50:51Z) - Near-optimal fitting of ellipsoids to random points [68.12685213894112]
楕円体をランダムな点に合わせるという基本的な問題は、低ランク行列分解、独立成分分析、主成分分析に関係している。
我々はこの予想を、ある$n = Omega(, d2/mathrmpolylog(d))$ に対する適合楕円体を構成することで対数的因子まで解決する。
我々の証明は、ある非標準確率行列の便利な分解を用いて、サンダーソン等最小二乗構成の実現可能性を示す。
論文 参考訳（メタデータ） (2022-08-19T18:00:34Z) - On the Multidimensional Random Subset Sum Problem [0.9007371440329465]
確率変数 $X_1, ..., X_n$ が与えられたランダム部分集合 Sum 問題では、任意の点 $z in [-1,1]$ を部分集合 $X_i_1(z), ..., X_i_s(z)$ の和として近似したい。
我々は、$d$次元において、$n = O(d3log frac 1varepsilon cdot
論文 参考訳（メタデータ） (2022-07-28T08:10:43Z) - Locality defeats the curse of dimensionality in convolutional
teacher-student scenarios [69.2027612631023]
学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。
我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
論文 参考訳（メタデータ） (2021-06-16T08:27:31Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Exponential ReLU Neural Network Approximation Rates for Point and Edge
Singularities [0.0]
ポリトープ領域の重み付け解析関数クラスに対して,安定なReLUニューラルネット(ReLU NN)を$H1(Omega)$で表現する。
指数近似速度は、直線面を持つリプシッツ多角形の空間次元$d = 2$、平面面を持つフィチェラ型多面体領域における空間次元$d=3$で表される。
論文 参考訳（メタデータ） (2020-10-23T07:44:32Z) - Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale
of Symmetry [9.695960412426672]
我々は,スプリアスミニマの様々な家系でヘッセンを解析的に特徴付ける。
特に、$dge k$ 標準ガウス入力について、 (a) ヘッセンの $dk$ 固有値の内、$dk - O(d)$ が 0 に近づき、 (b) $Omega(d)$ 固有値は $k$ で線型的に増加することを証明している。
論文 参考訳（メタデータ） (2020-08-04T20:08:35Z) - Continuous-time quantum walks in the presence of a quadratic
perturbation [55.41644538483948]
連続時間量子ウォークの特性を、$mathcalH=L + lambda L2$という形のハミルトン群で解決する。
低/高接続性および/または対称性を持つパラダイムモデルであるため、サイクル、完全、およびスターグラフを考える。
論文 参考訳（メタデータ） (2020-05-13T14:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。