論文の概要: Progressive Approximation in Deep Residual Networks: Theory and Validation

• arxiv url: http://arxiv.org/abs/2604.24154v1
• Date: Mon, 27 Apr 2026 08:10:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.799114
• Title: Progressive Approximation in Deep Residual Networks: Theory and Validation
• Title（参考訳）: 深部残留ネットワークの進歩的近似:理論と検証
• Authors: Wei Wang, Xiao-Yong Wei, Qing Li,
• Abstract要約: 残余ネットワークは、エンド・ツー・エンド(E2E)のブラックボックスマッピングではなく、ステップ・バイ・ステップの洗練を実現することができることを示す。 我々は,残差FNN,ResNet,Transformerの進行的挙動を表面フィッティング,画像分類,NLPなどのタスクにわたって観察する。 我々の研究は近似理論を実践的な深層学習と統合し、表現学習の新しいレンズを提供する。
• 参考スコア（独自算出の注目度）: 14.82319078008725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Universal Approximation Theorem (UAT) guarantees universal function approximation but does not explain how residual models distribute approximation across layers. We reframe residual networks as a layer-wise approximation process that builds an approximation trajectory from input to target, and prove the existence of progressive trajectories where error decreases monotonically with depth. It reveals that residual networks can implement structured, step-by-step refinement rather than end-to-end (E2E) black-box mapping. Building on this, we propose Layer-wise Progressive Approximation (LPA), a theoretically grounded training principle that explicitly aligns each layer with its residual target to realize such trajectories. LPA is architecture-agnostic: we observe progressive behavior in residual FNNs, ResNets, and Transformers across tasks including complex surface fitting, image classification, and NLP with LLMs for generation and classification. Crucially, this enables ``train once, use $N$ models": a single network yields useful predictions at every depth, supporting efficient shallow inference without retraining. Our work unifies approximation theory with practical deep learning, providing a new lens on representation learning and a flexible framework for multi-depth deployment. The source code will be released unpon acceptance at https://(open\_upon\_acceptance).
• Abstract（参考訳）: 普遍近似定理(Universal Approximation Theorem、UAT)は普遍関数近似を保証するが、残余モデルがどのように層間で近似を分配するかは説明しない。 我々は、残差ネットワークを、入力からターゲットへの近似軌道を構築するレイヤワイズ近似プロセスとして再構成し、誤差が深さとともに単調に減少する進行軌道の存在を証明した。 残余ネットワークは、エンドツーエンド(E2E)のブラックボックスマッピングではなく、構造化されたステップバイステップの洗練を実現することができる。 これに基づいて,各層をその残留目標に明示的に整合させ,そのような軌道を実現するための理論的な基礎となる学習原理であるレイヤワイドプログレッシブ近似(LPA)を提案する。 残差FNN,ResNet,Transformerの進行的挙動を,複雑な表面フィッティング,画像分類,LCMによるNLPを含むタスクにわたって観察する。 ひとつのネットワークは、すべての深さで有用な予測を出力し、再トレーニングせずに効率的な浅瀬推論をサポートする。 我々の研究は近似理論を実用的な深層学習と統合し、表現学習の新しいレンズと多層展開のための柔軟なフレームワークを提供する。 ソースコードはhttps://(open\_upon\_acceptance)で無償で公開される。

関連論文リスト

• Multigrade Neural Network Approximation [13.496991650323038]
  深層ニューラルネットワークにおける構造的誤り改善のための基本的枠組みを開発する。 任意の連続的対象関数に対して、固定幅ブロックの多重グレード $textttRe$LU が存在し、その残差はグレードによって減少し、一様収束することを示す。
  論文  参考訳（メタデータ） (2026-01-23T16:46:25Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Optimal Depth of Neural Networks [2.1756081703276]
  本稿では,ニューラルネットワークの最適深さの決定に対処する公式な理論的枠組みを提案する。 我々は、シーケンシャルな決定プロセスとして、隠蔽表現の層間進化をモデル化する。 本稿では,ネットワークが効率よく早期終了可能な表現を学習することを奨励する,新規で実用的な正規化用語である$mathcalL_rm depth$を提案する。
  論文  参考訳（メタデータ） (2025-06-20T09:26:01Z)
• A Constructive Framework for Nondeterministic Automata via Time-Shared, Depth-Unrolled Feedforward Networks [0.0]
  非決定論的有限オートマトン(NFA)の時間分割・深度制御型フィードフォワードネットワーク(TS-FFN)を用いたフォーマルで建設的なシミュレーションフレームワークを提案する。 我々の定式化は、二進ベクトルとしてのオートマトン状態、スパース行列変換としての遷移、および共有しきい値更新の合成としての$varepsilon$-closuresを含む非決定的分岐を含む非決定論的分岐を象徴的に符号化する。
  論文  参考訳（メタデータ） (2025-05-30T01:18:35Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Variational Density Propagation Continual Learning [0.0]
  現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。 本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-22T21:51:39Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Improving the Backpropagation Algorithm with Consequentialism Weight Updates over Mini-Batches [0.40611352512781856]
  適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。 我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。 我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
  論文  参考訳（メタデータ） (2020-03-11T08:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。