論文の概要: Do stable neural networks exist for classification problems? -- A new
view on stability in AI
- arxiv url: http://arxiv.org/abs/2401.07874v1
- Date: Mon, 15 Jan 2024 18:08:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 16:10:37.292408
- Title: Do stable neural networks exist for classification problems? -- A new
view on stability in AI
- Title（参考訳）: 分類問題に安定したニューラルネットワークは存在するか?
--AIの安定性に関する新しい見解
- Authors: Z. N. D. Liu, A. C. Hansen
- Abstract要約: ディープラーニング(DL)では、不安定現象は広く記録されており、最も一般的には古典的な安定性の尺度であるリプシッツ定数を用いている。
本稿では、不連続関数の安定性とその近似を研究するのに適した任意の分類関数 $f$ に対して、新しい安定度 $mathscrS(f)$ を導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In deep learning (DL) the instability phenomenon is widespread and well
documented, most commonly using the classical measure of stability, the
Lipschitz constant. While a small Lipchitz constant is traditionally viewed as
guarantying stability, it does not capture the instability phenomenon in DL for
classification well. The reason is that a classification function -- which is
the target function to be approximated -- is necessarily discontinuous, thus
having an 'infinite' Lipchitz constant. As a result, the classical approach
will deem every classification function unstable, yet basic classification
functions a la 'is there a cat in the image?' will typically be locally very
'flat' -- and thus locally stable -- except at the decision boundary. The lack
of an appropriate measure of stability hinders a rigorous theory for stability
in DL, and consequently, there are no proper approximation theoretic results
that can guarantee the existence of stable networks for classification
functions. In this paper we introduce a novel stability measure
$\mathscr{S}(f)$, for any classification function $f$, appropriate to study the
stability of discontinuous functions and their approximations. We further prove
two approximation theorems: First, for any $\epsilon > 0$ and any
classification function $f$ on a \emph{compact set}, there is a neural network
(NN) $\psi$, such that $\psi - f \neq 0$ only on a set of measure $< \epsilon$,
moreover, $\mathscr{S}(\psi) \geq \mathscr{S}(f) - \epsilon$ (as accurate and
stable as $f$ up to $\epsilon$). Second, for any classification function $f$
and $\epsilon > 0$, there exists a NN $\psi$ such that $\psi = f$ on the set of
points that are at least $\epsilon$ away from the decision boundary.
- Abstract（参考訳）: ディープラーニング(DL)では、不安定現象は広く記録されており、最も一般的には古典的な安定性の尺度であるリプシッツ定数を用いている。
小さなリプチッツ定数は伝統的に保留安定性と見なされるが、dlの不安定な現象をよく捉えていない。
理由は、(近似される対象関数である)分類関数は必然的に不連続であり、「無限」リプチッツ定数を持つからである。
結果として、古典的なアプローチでは、すべての分類関数が不安定であるが、基本的な分類関数 a la は、決定境界を除いて、局所的に非常に「平坦」であり、したがって局所的に安定である。
安定性の適切な尺度の欠如はdlの安定性に関する厳密な理論を妨げ、その結果、分類関数に対する安定ネットワークの存在を保証できる適切な近似理論的な結果は存在しない。
本稿では,任意の分類関数$f$に対して,不連続関数の安定性とその近似を研究するのに適した,新しい安定性測度$\mathscr{s}(f)$を導入する。
まず、任意の$\epsilon > 0$ および任意の分類関数 $f$ on a \emph{compact set} に対して、$\psi - f \neq 0$ が測度 $< \epsilon$, さらに $\mathscr{S}(\psi) \geq \mathscr{S}(f) - \epsilon$ ($f$まで正確かつ安定である) の集合上でのみ、ニューラルネットワーク (NN) $\psi$ が存在する。
第二に、任意の分類関数 $f$ と $\epsilon > 0$ に対して、決定境界から少なくとも $\epsilon$ 離れた点の集合上で $\psi = f$ となるような nn $\psi$ が存在する。
関連論文リスト
- Estimation and Inference in Distributional Reinforcement Learning [28.253677740976197]
サイズ$widetilde Oleft(frac|mathcalS||mathcalA|epsilon2 (1-gamma)4right)$ suffices to ensure the Kolmogorov metric and total variation metric between $hatetapi$ and $etapi$ is below $epsilon$ with high probability。
以上の結果から,多種多様な統計的汎関数の統計的推測への統一的アプローチがもたらされた。
論文 参考訳（メタデータ） (2023-09-29T14:14:53Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Lower Bounds on Stabilizer Rank [3.265773263570237]
十分小さな定数$deltaの場合、それらの状態に対して$$-closeの任意の状態の安定化ランクが$Omega(sqrtn/log n)$であることを証明する。
これは、近似安定化器ランクに対する最初の非自明な下界である。
論文 参考訳（メタデータ） (2021-06-06T19:27:51Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - On the stability of deep convolutional neural networks under irregular
or random deformations [0.0]
深い畳み込みニューラルネットワーク(DCNN)のための位置変形下の堅牢性は、大きな理論的および実用的な関心事です。
ここでは、追加の正規性仮定なしに、$tauin Linfty(mathbbRd;mathbbRd)$のフィールドでこの問題に取り組みます。
マルチレゾリューション近似空間の信号に対して、u_s$ at scale $s$, stability in $|tau|_linfty/sll 1$ in the regime $|tau|_
論文 参考訳（メタデータ） (2021-04-24T16:16:30Z) - Universal guarantees for decision tree induction via a higher-order
splitting criterion [16.832966312395126]
本アルゴリズムは,全対象関数に対して,一様分布に対して, -1,1n から -1,1$ の証明可能な保証を実現する。
我々の拡張の要点は、その属性の$f$と小さなサブセットの相関を考慮に入れた、新しい分割基準である。
我々のアルゴリズムは以下の保証を満たす: すべての対象関数 $f : -1,1n to -1,1$, sizes $sin mathbbN$, error parameters $epsilon$ に対して、決定を構成する。
論文 参考訳（メタデータ） (2020-10-16T21:20:45Z) - Safe Learning under Uncertain Objectives and Constraints [66.05180398174286]
我々は、テキスト不明で安全クリティカルな制約の下で、非テクスト無知かつ安全クリティカルな最適化問題を考察する。
このような問題は、ロボティクス、製造、医療などの様々な領域で自然に発生する。
我々の分析の重要な要素は、安全な最適化の文脈で収縮と呼ばれる手法を導入し、適用することである。
論文 参考訳（メタデータ） (2020-06-23T20:51:00Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳（メタデータ） (2020-02-10T23:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。