Fugu-MT 論文翻訳(概要): Multigrade Neural Network Approximation

論文の概要: Multigrade Neural Network Approximation

arxiv url: http://arxiv.org/abs/2601.16884v1
Date: Fri, 23 Jan 2026 16:46:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-26 14:27:27.766864
Title: Multigrade Neural Network Approximation
Title（参考訳）: マルチグレードニューラルネットワーク近似
Authors: Shijun Zhang, Zuowei Shen, Yuesheng Xu,
Abstract要約: 深層ニューラルネットワークにおける構造的誤り改善のための基本的枠組みを開発する。任意の連続的対象関数に対して、固定幅ブロックの多重グレード $textttRe$LU が存在し、その残差はグレードによって減少し、一様収束することを示す。
参考スコア（独自算出の注目度）: 13.496991650323038
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study multigrade deep learning (MGDL) as a principled framework for structured error refinement in deep neural networks. While the approximation power of neural networks is now relatively well understood, training very deep architectures remains challenging due to highly non-convex and often ill-conditioned optimization landscapes. In contrast, for relatively shallow networks, most notably one-hidden-layer $\texttt{ReLU}$ models, training admits convex reformulations with global guarantees, motivating learning paradigms that improve stability while scaling to depth. MGDL builds upon this insight by training deep networks grade by grade: previously learned grades are frozen, and each new residual block is trained solely to reduce the remaining approximation error, yielding an interpretable and stable hierarchical refinement process. We develop an operator-theoretic foundation for MGDL and prove that, for any continuous target function, there exists a fixed-width multigrade $\texttt{ReLU}$ scheme whose residuals decrease strictly across grades and converge uniformly to zero. To the best of our knowledge, this work provides the first rigorous theoretical guarantee that grade-wise training yields provable vanishing approximation error in deep networks. Numerical experiments further illustrate the theoretical results.
Abstract（参考訳）: 深層ニューラルネットワークにおける構造化誤り改善の枠組みとして,多段階深層学習(MGDL)について検討した。ニューラルネットワークの近似能力は、現在では比較的よく理解されているが、非常に非凸で、しばしば条件の悪い最適化環境のため、非常に深いアーキテクチャのトレーニングは難しいままである。対照的に、比較的浅いネットワーク、特に1階層の$\texttt{ReLU}$モデルでは、トレーニングは、大域的な保証による凸改革を認め、深さまでスケーリングしながら安定性を向上する学習パラダイムを動機付けている。 MGDLは、学習済みのグレードは凍結され、新しい残差ブロックは、残りの近似誤差を減らすためにのみ訓練され、解釈可能で安定した階層的精錬プロセスをもたらす。 MGDLの演算子理論の基礎を開発し、任意の連続的対象関数に対して、残差がグレードにわたって厳密に減少し、ゼロに一様収束する固定幅の多重グレード$\texttt{ReLU}$スキームが存在することを証明した。我々の知る限り、この研究は、ディープネットワークにおける証明可能な消滅近似誤差をもたらすという厳密な理論的な保証を初めて提供する。数値実験ではさらに理論的な結果が示されている。

関連論文リスト

Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
論文参考訳（メタデータ） (2025-06-20T17:54:24Z)
Optimal Depth of Neural Networks [2.1756081703276]
本稿では,ニューラルネットワークの最適深さの決定に対処する公式な理論的枠組みを提案する。我々は、シーケンシャルな決定プロセスとして、隠蔽表現の層間進化をモデル化する。本稿では,ネットワークが効率よく早期終了可能な表現を学習することを奨励する,新規で実用的な正規化用語である$mathcalL_rm depth$を提案する。
論文参考訳（メタデータ） (2025-06-20T09:26:01Z)
Leveraging Intermediate Neural Collapse with Simplex ETFs for Efficient Deep Neural Networks [0.0]
ニューラルネットワークの最終層を単純なETFに制約することで、モデルの精度を犠牲にすることなくトレーニング可能なパラメータの数を削減できることを示す。本稿では, 汎用フレームワークであるAdaptive-ETFと, トランスフォーマブロック内のフィードフォワード層に単純なETF制約を適用するETF-Transformerを提案する。
論文参考訳（メタデータ） (2024-12-01T16:44:55Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
LaplaceNet: A Hybrid Energy-Neural Model for Deep Semi-Supervised Classification [0.0]
深層半教師付き分類の最近の進歩は、前例のない性能に達している。モデル複雑性を大幅に低減した深層半教師付き分類のための新しいフレームワークであるLaplaceNetを提案する。本モデルは,複数のベンチマークデータセットを用いて,半教師付き深層分類のための最先端手法より優れる。
論文参考訳（メタデータ） (2021-06-08T17:09:28Z)
Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
論文参考訳（メタデータ） (2020-09-21T16:32:04Z)
DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
論文参考訳（メタデータ） (2020-07-04T04:40:16Z)
A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable Optimization Via Overparameterization From Depth [19.866928507243617]
勾配降下(SGD)を伴う深層ニューラルネットワークのトレーニングは、現実世界の風景でのトレーニング損失をゼロにすることが多い。我々は,アラーがグローバルであるという意味で優れたトレーニングを享受する,無限大深部残差ネットワークの新たな限界を提案する。
論文参考訳（メタデータ） (2020-03-11T20:14:47Z)
Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。