論文の概要: Do stable neural networks exist for classification problems? -- A new view on stability in AI

• arxiv url: http://arxiv.org/abs/2401.07874v1
• Date: Mon, 15 Jan 2024 18:08:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-01-17 16:10:37.292408
• Title: Do stable neural networks exist for classification problems? -- A new view on stability in AI
• Title（参考訳）: 分類問題に安定したニューラルネットワークは存在するか? --AIの安定性に関する新しい見解
• Abstract要約: ディープラーニング(DL)では、不安定現象は広く記録されており、最も一般的には古典的な安定性の尺度であるリプシッツ定数を用いている。 本稿では、不連続関数の安定性とその近似を研究するのに適した任意の分類関数 $f$ に対して、新しい安定度 $mathscrS(f)$ を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In deep learning (DL) the instability phenomenon is widespread and well documented, most commonly using the classical measure of stability, the Lipschitz constant. While a small Lipchitz constant is traditionally viewed as guarantying stability, it does not capture the instability phenomenon in DL for classification well. The reason is that a classification function -- which is the target function to be approximated -- is necessarily discontinuous, thus having an 'infinite' Lipchitz constant. As a result, the classical approach will deem every classification function unstable, yet basic classification functions a la 'is there a cat in the image?' will typically be locally very 'flat' -- and thus locally stable -- except at the decision boundary. The lack of an appropriate measure of stability hinders a rigorous theory for stability in DL, and consequently, there are no proper approximation theoretic results that can guarantee the existence of stable networks for classification functions. In this paper we introduce a novel stability measure $\mathscr{S}(f)$, for any classification function $f$, appropriate to study the stability of discontinuous functions and their approximations. We further prove two approximation theorems: First, for any $\epsilon > 0$ and any classification function $f$ on a \emph{compact set}, there is a neural network (NN) $\psi$, such that $\psi - f \neq 0$ only on a set of measure $< \epsilon$, moreover, $\mathscr{S}(\psi) \geq \mathscr{S}(f) - \epsilon$ (as accurate and stable as $f$ up to $\epsilon$). Second, for any classification function $f$ and $\epsilon > 0$, there exists a NN $\psi$ such that $\psi = f$ on the set of points that are at least $\epsilon$ away from the decision boundary.
• Abstract（参考訳）: ディープラーニング(DL)では、不安定現象は広く記録されており、最も一般的には古典的な安定性の尺度であるリプシッツ定数を用いている。 小さなリプチッツ定数は伝統的に保留安定性と見なされるが、dlの不安定な現象をよく捉えていない。 理由は、(近似される対象関数である)分類関数は必然的に不連続であり、「無限」リプチッツ定数を持つからである。 結果として、古典的なアプローチでは、すべての分類関数が不安定であるが、基本的な分類関数 a la は、決定境界を除いて、局所的に非常に「平坦」であり、したがって局所的に安定である。 安定性の適切な尺度の欠如はdlの安定性に関する厳密な理論を妨げ、その結果、分類関数に対する安定ネットワークの存在を保証できる適切な近似理論的な結果は存在しない。 本稿では,任意の分類関数$f$に対して,不連続関数の安定性とその近似を研究するのに適した,新しい安定性測度$\mathscr{s}(f)$を導入する。 まず、任意の$\epsilon > 0$ および任意の分類関数 $f$ on a \emph{compact set} に対して、$\psi - f \neq 0$ が測度 $< \epsilon$, さらに $\mathscr{S}(\psi) \geq \mathscr{S}(f) - \epsilon$ ($f$まで正確かつ安定である) の集合上でのみ、ニューラルネットワーク (NN) $\psi$ が存在する。 第二に、任意の分類関数 $f$ と $\epsilon > 0$ に対して、決定境界から少なくとも $\epsilon$ 離れた点の集合上で $\psi = f$ となるような nn $\psi$ が存在する。

関連論文リスト

• Sample-optimal learning of stabilizer states [0.20999222360659608]
  純粋な$n$-qubit 安定化子状態 $|rangle$ を学ぶにはどちらも必要であり、$|rangle$ のコピーを $n$ で数部アクセスすることが知られている。 ここでは、量子プロシージャが任意の安定化状態を特定することができる最小のコピー数である$L_(n)$を、少なくとも01/8$の確率で証明する。
  論文  参考訳（メタデータ） (2026-09-10T01:48:29Z)
• Sub-extensive non-stabilizerness in the Dyck-Fredkin spin chain [0.0]
  スピン-$frac12 Dyck-Fredkin鎖の基底状態の安定化器レニイエントロピーについて検討した。 例えば、$t=1$のスケーリングは、このモデルの非従来的臨界性の別の表れかもしれない。 絡み合いエントロピーの挙動とは対照的に、非安定化剤性は量子多体系に新しい窓を与える可能性がある。
  論文  参考訳（メタデータ） (2026-09-09T00:00:00Z)
• Difference-Set Weyl Channels: Exact Capacity, Optimizer Bifurcation, and Scalable Entanglement Separation [0.0]
  おかしな局所$D$では、完全ウィグナー陽性はウィグナー非負の状態において位相空間のダイナミクスをもたらすが、符号入力、チャネル使用間の絡み合い、あるいは集団復号は制御しない。 部分系-自明なワイル分解を用いて、テンソル安定出力-純度境界の等値条件を特徴づける。 アイデンティティ強調プロファイルでは、正確なパワー衝突エントロピー位相図を決定し、厳密なキャパシティ境界を導出し、異なるフォン・ノイマン交叉を分離する。
  論文  参考訳（メタデータ） (2026-08-21T04:15:10Z)
• The Physical Cutoff Does Not Restore Homogenization: Phase-Dependent Burning in the Strain G-Equation [2.538209532048867]
  C2$非圧縮性周期フローに対して、すべての$varepsilon$-ward barrier certificateが半径を少なくとも2dvarepsilon$でカバーしていることを証明している。
  論文  参考訳（メタデータ） (2026-08-15T17:41:14Z)
• Optimal Dimension-Free Sampling for Regularized Classification [56.72526267755301]
  我々は、リプシッツ連続分類損失関数の幅広いクラスに対して、$(1pmvarepsilon)$-relativeエラーを達成する最適サンプリング境界を証明した。 これにはロジスティックやシグモイドの損失、ヒンジの損失、ReLUの損失といった重要な機能が含まれており、顕著で一般的な例である。
  論文  参考訳（メタデータ） (2026-05-22T15:05:33Z)
• Sublinear Time Quantum Sensitivity Sampling [57.356528942341534]
  本稿では、量子感応サンプリングのための統一的なフレームワークを提案し、量子コンピューティングの利点を古典近似問題の幅広いクラスに拡張する。 我々のフレームワークは、コアセットを構築するための合理化されたアプローチを提供し、クラスタリング、回帰、低ランク近似などのアプリケーションにおいて、大幅なランタイム改善を提供します。
  論文  参考訳（メタデータ） (2025-09-20T20:18:49Z)
• Poincaré Inequality for Local Log-Polyak-Lojasiewicz Measures : Non-asymptotic Analysis in Low-temperature Regime [24.76306384187767]
  深層学習のような関連する応用におけるポテンシャル関数は、非溶解性ミニマを許容する経験的に観察される。 我々はPL のクラスが $mu_epsilon propto exp(-V/epsilon) を測り、その局所ミニマの集合は証明可能 mph 接続であることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:43:57Z)
• Polynomial-time tolerant testing stabilizer states [4.65004369765875]
  アルゴリズムは未知の$n$-qubit量子状態 $|psirangle promise $(i)$ $|psirangle$のコピーを与える。 すべての$varepsilon_1>0$と$varepsilonleq varepsilon_C$に対して、どちらが正しいかを決定する$textsfpolyが存在することを示す。 我々の証明には、量子状態に対するガウワーズノルムの新しい定義、量子状態のガウワーズ-3$のノルムに対する逆定理、および安定化器被覆に対する新しい境界が含まれる。
  論文  参考訳（メタデータ） (2024-08-12T16:56:33Z)
• Estimation and Inference in Distributional Reinforcement Learning [28.253677740976197]
  サイズ$widetilde Oleft(frac|mathcalS||mathcalA|epsilon2 (1-gamma)4right)$ suffices to ensure the Kolmogorov metric and total variation metric between $hatetapi$ and $etapi$ is below $epsilon$ with high probability。 以上の結果から,多種多様な統計的汎関数の統計的推測への統一的アプローチがもたらされた。
  論文  参考訳（メタデータ） (2023-09-29T14:14:53Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• A Law of Robustness beyond Isoperimetry [84.33752026418045]
  我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。 次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。 我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
  論文  参考訳（メタデータ） (2022-02-23T16:10:23Z)
• Lower Bounds on Stabilizer Rank [3.265773263570237]
  十分小さな定数$deltaの場合、それらの状態に対して$$-closeの任意の状態の安定化ランクが$Omega(sqrtn/log n)$であることを証明する。 これは、近似安定化器ランクに対する最初の非自明な下界である。
  論文  参考訳（メタデータ） (2021-06-06T19:27:51Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• On the stability of deep convolutional neural networks under irregular or random deformations [0.0]
  深い畳み込みニューラルネットワーク(DCNN)のための位置変形下の堅牢性は、大きな理論的および実用的な関心事です。 ここでは、追加の正規性仮定なしに、$tauin Linfty(mathbbRd;mathbbRd)$のフィールドでこの問題に取り組みます。 マルチレゾリューション近似空間の信号に対して、u_s$ at scale $s$, stability in $|tau|_linfty/sll 1$ in the regime $|tau|_
  論文  参考訳（メタデータ） (2021-04-24T16:16:30Z)
• Universal guarantees for decision tree induction via a higher-order splitting criterion [16.832966312395126]
  本アルゴリズムは,全対象関数に対して,一様分布に対して, -1,1n から -1,1$ の証明可能な保証を実現する。 我々の拡張の要点は、その属性の$f$と小さなサブセットの相関を考慮に入れた、新しい分割基準である。 我々のアルゴリズムは以下の保証を満たす: すべての対象関数 $f : -1,1n to -1,1$, sizes $sin mathbbN$, error parameters $epsilon$ に対して、決定を構成する。
  論文  参考訳（メタデータ） (2020-10-16T21:20:45Z)
• Safe Learning under Uncertain Objectives and Constraints [66.05180398174286]
  我々は、テキスト不明で安全クリティカルな制約の下で、非テクスト無知かつ安全クリティカルな最適化問題を考察する。 このような問題は、ロボティクス、製造、医療などの様々な領域で自然に発生する。 我々の分析の重要な要素は、安全な最適化の文脈で収縮と呼ばれる手法を導入し、適用することである。
  論文  参考訳（メタデータ） (2020-06-23T20:51:00Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。