論文の概要: Fixed points of arbitrarily deep 1-dimensional neural networks
- arxiv url: http://arxiv.org/abs/2303.12814v1
- Date: Wed, 22 Mar 2023 04:25:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 16:55:07.448425
- Title: Fixed points of arbitrarily deep 1-dimensional neural networks
- Title（参考訳）: 任意深部1次元ニューラルネットワークの固定点
- Authors: Andrew Cook, Andy Hammerlindl and Warwick Tucker
- Abstract要約: 我々は$mathbbR$に新しい関数のクラスを導入し、合成の下で閉じ、ロジスティックシグモイド関数を含む。
このクラスを用いて、ロジスティックシグモイド活性化関数を持つ任意の深さの任意の1次元ニューラルネットワークが、少なくとも3つの固定点を持つことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce a new class of functions on $\mathbb{R}$ that is
closed under composition, and contains the logistic sigmoid function. We use
this class to show that any 1-dimensional neural network of arbitrary depth
with logistic sigmoid activation functions has at most three fixed points.
While such neural networks are far from real world applications, we are able to
completely understand their fixed points, providing a foundation to the much
needed connection between application and theory of deep neural networks.
- Abstract（参考訳）: 本稿では,合成下で閉である$\mathbb{r}$ 上の新たな関数クラスを導入し,ロジスティックなシグモイド関数を含む。
このクラスを用いて,ロジスティックなシグモイド活性化関数を持つ任意の深さの1次元ニューラルネットワークが,少なくとも3つの不動点を持つことを示す。
このようなニューラルネットワークは現実世界の応用とは程遠いが、我々はそれらの固定点を完全に理解することができ、深層ニューラルネットワークのアプリケーションと理論の間の、はるかに必要な接続の基礎となる。
関連論文リスト
- Shift-invariant functions and almost liftings [0.0]
我々は、$k$ビット上のブール関数から誘導される$n$ビット上のシフト不変ベクトルブール関数を$kleq n$に対して検討する。
直径$k$の関数がほぼ持ち上げである場合、誘導関数の最大衝突数は、任意の$n$に対して2k-1$である。
暗号特性が良好で、非客観性が重大なセキュリティ上の弱点を生じさせないような、ほとんど持ち上げのクラスの関数を探索する。
論文 参考訳（メタデータ） (2024-07-16T17:23:27Z) - Representing Piecewise-Linear Functions by Functions with Minimal Arity [0.5266869303483376]
入力空間 $mathbbRn$ の関数 $F$ によるテッセルレーションは、$max$ 関数の引数の数に直結することを示す。
論文 参考訳（メタデータ） (2024-06-04T15:39:08Z) - When does a bent concatenation not belong to the completed Maiorana-McFarland class? [47.2382573252527]
曲がった結合 $f$ (not) は、完了した Maiorana-McFarland クラス $mathcalM#$ に属するのか?
私たちは$mathcalM#$の外で曲がった関数を指定する方法を示します。
論文 参考訳（メタデータ） (2024-04-24T21:36:19Z) - Uniform $\mathcal{C}^k$ Approximation of $G$-Invariant and Antisymmetric
Functions, Embedding Dimensions, and Polynomial Representations [0.0]
必要な埋め込み次元は、対象関数の正則性、所望の近似の精度、および$k$に依存しないことを示す。
また、$K$の上と下の境界も提供し、$K$が対象関数の正則性、所望の近似精度、および$k$とは独立であることを示す。
論文 参考訳（メタデータ） (2024-03-02T23:19:10Z) - Piecewise Polynomial Regression of Tame Functions via Integer Programming [2.2499166814992435]
我々は,tame関数,すべての共通活性化をもつ非平滑関数,混合整数プログラムの値関数,小分子の波動関数を考える。
論文 参考訳（メタデータ） (2023-11-22T17:37:42Z) - On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。
本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2023-05-30T17:47:27Z) - Dueling Convex Optimization with General Preferences [85.14061196945599]
本研究の目的は, エンフィロンリングフィードバックの弱い形を条件として, 凸関数を最小化することである。
我々の主な貢献は、滑らかな凸対象関数に対する収束$smashwidetilde O(epsilon-4p)$と、その目的が滑らかで凸であるときに効率$smashwidetilde O(epsilon-2p)を持つ効率的なアルゴリズムである。
論文 参考訳（メタデータ） (2022-09-27T11:10:41Z) - Submodular + Concave [53.208470310734825]
第一次最適化法が凹関数の最大目的値に収束できることはよく確立されている。
本研究では、滑らかな函数凸体(英語版)の行列式を$F(x) = G(x) +C(x)$で始める。
このクラスの函数は、保証がないような凹凸函数と連続DR-部分モジュラ函数の両方の拡張である。
論文 参考訳（メタデータ） (2021-06-09T01:59:55Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳（メタデータ） (2020-12-22T12:59:30Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳（メタデータ） (2020-02-10T23:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。