論文の概要: Algorithmic Separation between Constant-Depth and Logarithmic-Depth Neural Networks

• arxiv url: http://arxiv.org/abs/2607.25200v1
• Date: Tue, 28 Jul 2026 02:13:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.679365
• Title: Algorithmic Separation between Constant-Depth and Logarithmic-Depth Neural Networks
• Title（参考訳）: 定数深度と対数深度ニューラルネットワークのアルゴリズムによる分離
• Abstract要約: 定数深度ネットワークと対数深度ネットワークの最初のアルゴリズム的分離を証明した。 具体的には、対数深度ネットワークが効率的に学習できる階層的なスペクトルを持つブール関数のクラスを同定する。
• 参考スコア（独自算出の注目度）: 64.7580803923092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the empirical advantages of deep networks over shallow ones, theoretical depth separations largely concern approximation power, while algorithmic results are mostly limited to comparisons between two- and three-layer networks. In this work, we prove the first algorithmic separation between constant-depth and logarithmic-depth networks. Specifically, we identify a class of Boolean functions with hierarchically structured Fourier spectra that logarithmic-depth networks can learn efficiently using layerwise coordinate descent by reconstructing the spectra hierarchically and adaptively. We also exhibit a subclass for which every constant-depth, polynomial-width network with sufficiently regular activations and controlled spectral norms must incur constant $L^2$ approximation error under the uniform distribution over the hypercube.
• Abstract（参考訳）: 浅層ネットワークに対する深層ネットワークの実証的な優位性にもかかわらず、理論的な深層分離は近似パワーを主に懸念する一方、アルゴリズム的な結果は2層ネットワークと3層ネットワークの比較に限られる。 本研究では,定数深度ネットワークと対数深度ネットワークの最初のアルゴリズム的分離を証明した。 具体的には、階層的かつ適応的にスペクトルを再構成することにより、対数-深度ネットワークが階層的座標降下を用いて効率的に学習できるような階層的構造を持つフーリエスペクトルを持つブール関数のクラスを同定する。 また、全ての定数深度多項式幅ネットワークが十分な正則な活性化と制御されたスペクトルノルムを持つサブクラスは、ハイパーキューブ上の均一分布の下で定数$L^2$近似誤差を発生させなければならないことを示す。

関連論文リスト

• Approximate Contraction of Arbitrary Tensor Networks with a Flexible and Efficient Density Matrix Algorithm [8.329034093208826]
  低ランク近似を用いてテンソルネットワークの収縮を効率的に近似する手法を提案する。 提案アルゴリズムは,低ランク近似を行う場合,環境の大部分を組み込む柔軟性を有する。
  論文  参考訳（メタデータ） (2024-06-14T07:13:52Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [44.31729147722701]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Depth Separation with Multilayer Mean-Field Networks [14.01059700772468]
  arXiv:1904.06984は3層ネットワークで近似できるが,任意の2層ネットワークでは近似できない関数を構築した。 この結果は、平均フィールド制限を多層ネットワークに拡張する新しい方法に依拠している。
  論文  参考訳（メタデータ） (2023-04-03T15:18:16Z)
• Block belief propagation algorithm for two-dimensional tensor networks [0.0]
  本稿では,2次元テンソルネットワークを縮小し,2D$システムの基底状態を近似するためのブロック信念伝搬アルゴリズムを提案する。 応用として、我々のアルゴリズムを用いて2D$HeisenbergとTransverse Isingモデルを調べ、この手法の精度が最先端の結果と同等であることを示す。
  論文  参考訳（メタデータ） (2023-01-14T07:37:08Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Learning Deep ReLU Networks Is Fixed-Parameter Tractable [21.625005195943707]
  ガウス入力に関して未知のReLUネットワークを学習する問題を考察する。 ランニング時間が周囲次元の固定重みとなるアルゴリズムを与える。 我々の境界は、隠れた単位数、深さ、スペクトルノルムのスペクトルノルム、リプシッツ定数に依存する。
  論文  参考訳（メタデータ） (2020-09-28T17:58:43Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。