論文の概要: A Qualitative Test-Risk Mechanism for Scaling Behavior in Normalized Residual Networks

• arxiv url: http://arxiv.org/abs/2605.08297v1
• Date: Fri, 08 May 2026 11:07:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.54411
• Title: A Qualitative Test-Risk Mechanism for Scaling Behavior in Normalized Residual Networks
• Title（参考訳）: 正規化残留ネットワークにおけるスケーリング挙動の定性的テストリスク機構
• Authors: Daning Cheng, Zeyu Liu, Jun Sun, Fen Xia, Boyang Zhang, Dongping Liu, Yunquan Zhang,
• Abstract要約: 正規化残差ネットワークにおけるスケーリング挙動について検討する。 残差深度拡大により試験性能が向上する定理駆動機構が発見された。 より広い意味では、スケーリングは本質的に共同である、と彼らは示唆している。
• 参考スコア（独自算出の注目度）: 7.941231800675177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The scaling behavior, in which test performance often improves as model size and data increase, is a central empirical phenomenon in modern deep learning, yet its theoretical basis remains incomplete. In this paper, we study depth expansion in normalized residual networks: starting from a trained model in an old hypothesis class, we insert a new residual block at an intermediate layer and ask when such an expansion can yield a provable improvement in test risk. We develop a unified framework that decomposes this question into representational gain, optimization gain, and generalization transfer. First, under a first-order descent condition near zero initialization, we prove that the expanded hypothesis class contains an auxiliary jumpboard model with strictly smaller population risk than the original model. Second, under norm control tailored to post-normalized residual architectures, we establish a norm-based Rademacher complexity bound for the expanded model class. These ingredients lead to two complementary test-risk guarantees: one route passes through population risk and is tighter when a positive population margin is available, while the other works directly at the train/test level, avoids Hoeffding transfer, and is more robust in degenerate regimes. Together, these results provide a theorem-driven mechanism under which residual depth expansion can improve test performance in normalized residual networks. More broadly, they suggest that scaling is inherently joint: depth creates new improving directions, width enhances the finite-sample observability of weak signals, and data determines whether the statistical cost of expansion can be controlled.
• Abstract（参考訳）: モデルのサイズやデータの増加に伴ってテスト性能が向上するスケーリングの挙動は、現代のディープラーニングにおいて中心的な経験的現象であるが、その理論的基礎は不完全である。 本稿では,従来の仮説クラスで訓練されたモデルから,中間層に新しい残留ブロックを挿入し,そのような拡張がテストリスクの証明可能な改善をもたらすかどうかを問う。 我々はこの問題を表現的ゲイン、最適化ゲイン、一般化移動に分解する統一的なフレームワークを開発する。 まず、ゼロ初期化に近い一階降下条件下で、拡張仮説クラスは、元のモデルよりも人口リスクが厳密に小さい補助ジャンプボードモデルを含むことを証明した。 第二に、正規化後の残差アーキテクチャに合わせたノルム制御の下で、拡張モデルクラスに束縛されたノルムベースのラデマッハ複雑性を確立する。 これらの資材は2つの相補的な試験リスクを保証している: 1つのルートが人口リスクを通過し、前向きな人口比率が得られればより厳しくなり、もう1つのルートは列車/テストのレベルで直接機能し、ホーフディングの移動を回避し、退化政権においてより堅牢である。 これらの結果とともに、残差深度展開が正規化残差ネットワークにおける試験性能を向上させるための定理駆動機構を提供する。 深度は新たな改善方向を生成し、幅は弱い信号の有限サンプル観測可能性を高め、データは拡張の統計的コストを制御できるかどうかを決定する。

関連論文リスト

• The Surprising Harmfulness of Benign Overfitting for Adversarial Robustness [13.120373493503772]
  根拠的真理そのものが敵の例に対して堅牢であるとしても、標準のアウト・オブ・サンプルのリスク目標の観点から見れば、明らかに過適合なモデルは良性である、という驚くべき結果が証明されます。 我々の発見は、実際に観察されたパズリング現象に関する理論的洞察を与え、真の標的関数(例えば、人間)は副次的攻撃に対して堅牢であり、一方、当初過適合のニューラルネットワークは、堅牢でないモデルに導かれる。
  論文  参考訳（メタデータ） (2024-01-19T15:40:46Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Stabilizing RNN Gradients through Pre-training [3.335932527835653]
  学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。 我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。 本稿では,この問題を緩和するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-23T11:48:35Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Robustness to Pruning Predicts Generalization in Deep Neural Networks [29.660568281957072]
  トレーニングの損失に悪影響を与えることなく、pruning中に維持できるネットワークのパラメータの最小の屈折であるprunabilityを紹介します。 この測定は、CIFAR-10で訓練された大規模な畳み込みネットワーク全体のモデル一般化性能を非常に予測できることを示した。
  論文  参考訳（メタデータ） (2021-03-10T11:39:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。