論文の概要: Deep Learning as a Convex Paradigm of Computation: Minimizing Circuit Size with ResNets

• arxiv url: http://arxiv.org/abs/2511.20888v1
• Date: Tue, 25 Nov 2025 22:11:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.879343
• Title: Deep Learning as a Convex Paradigm of Computation: Minimizing Circuit Size with ResNets
• Title（参考訳）: 計算の凸パラダイムとしてのディープラーニング:ResNetによる回路サイズ最小化
• Authors: Arthur Jacot,
• Abstract要約: 我々は、DNNが計算オッカムのカミソリを実装していることを示し、データに適合する最も単純なアルゴリズムを見つける。 これは、従来の統計手法よりも驚くほど広範囲に成功していることを説明できるかもしれない。
• 参考スコア（独自算出の注目度）: 21.932547699313687
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper argues that DNNs implement a computational Occam's razor -- finding the `simplest' algorithm that fits the data -- and that this could explain their incredible and wide-ranging success over more traditional statistical methods. We start with the discovery that the set of real-valued function $f$ that can be $ε$-approximated with a binary circuit of size at most $cε^{-γ}$ becomes convex in the `Harder than Monte Carlo' (HTMC) regime, when $γ>2$, allowing for the definition of a HTMC norm on functions. In parallel one can define a complexity measure on the parameters of a ResNets (a weighted $\ell_1$ norm of the parameters), which induce a `ResNet norm' on functions. The HTMC and ResNet norms can then be related by an almost matching sandwich bound. Thus minimizing this ResNet norm is equivalent to finding a circuit that fits the data with an almost minimal number of nodes (within a power of 2 of being optimal). ResNets thus appear as an alternative model for computation of real functions, better adapted to the HTMC regime and its convexity.
• Abstract（参考訳）: 本稿は、DNNが計算オッカムのカミソリ(simplest)アルゴリズム(データに適合する'simplest'アルゴリズム)を実装していることを論じる。 実数値関数の集合 $f$ が、最大で$cε^{-γ}$ のバイナリ回路で$ε$-近似できるという発見から始まり、$γ>2$ のとき 'Harder than Monte Carlo' (HTMC) の条件で凸となり、関数上の HTMC ノルムを定義することができる。 並列で、ResNets(パラメータの重み付けされた$\ell_1$ノルム)のパラメータの複雑性尺度を定義することができ、関数の‘ResNetノルム’を誘導する。 HTMCとResNetのノルムは、ほぼ一致するサンドイッチ境界によって関連付けられる。 したがって、このResNetノルムを最小化することは、ほぼ最小のノード数でデータに適合する回路を見つけることと等価である(最適である2のパワーを持つ)。 したがって、ResNetsは実関数の計算の代替モデルとして現れ、HTMCレジームとその凸性に適合する。

関連論文リスト

• Parameterized Hardness of Zonotope Containment and Neural Network Verification [9.076330553662876]
  2層ReLUネットワークで計算された関数 $fcolonmathbbRdtomathbbR$ の正則性は、$d$ でパラメータ化されると W[1]-ハードであることが証明される。 また、2層ReLUネットワークにおける任意の乗算係数内の最大値の近似、2層ネットワークにおける$pin(0,infty)$に対する$L_p$-Lipschitz定数の計算、3層ネットワークにおける$L_p$-Lipschitz定数の近似はNPであることを示す。
  論文  参考訳（メタデータ） (2025-09-26T18:59:59Z)
• Scaling Probabilistic Circuits via Monarch Matrices [109.65822339230853]
  確率回路(PC)は確率分布の抽出可能な表現である。 そこで本研究では,PCの和ブロックに対する新しいスパースパラメータと構造化パラメータ化を提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:39:15Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
  我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。 我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
  論文  参考訳（メタデータ） (2023-02-03T03:19:14Z)
• Low-complexity Approximate Convolutional Neural Networks [1.7368964547487395]
  本稿では,学習された畳み込みニューラルネットワーク(ConvNet)の計算複雑性を最小化する手法を提案する。 この考え方は、与えられたConvNetのすべての要素を計算複雑性を極端に削減できる効率的な近似で近似することである。 このような低複雑さ構造は、低消費電力で効率的なハードウェア設計の道を開く。
  論文  参考訳（メタデータ） (2022-07-29T21:59:29Z)
• On the Global Convergence of Gradient Descent for multi-layer ResNets in the mean-field regime [19.45069138853531]
  一階法は、グローバル化された体制におけるグローバルな最適性を見出す。 ResNetが十分に大きく、精度と信頼度に応じて深さ幅がある場合、一階法はデータに適合する最適化を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-06T17:16:09Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。