Fugu-MT 論文翻訳(概要): Towards an Optimal Control Perspective of ResNet Training

論文の概要: Towards an Optimal Control Perspective of ResNet Training

arxiv url: http://arxiv.org/abs/2506.21453v1
Date: Thu, 26 Jun 2025 16:34:47 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-27 19:53:10.195652
Title: Towards an Optimal Control Perspective of ResNet Training
Title（参考訳）: ResNetトレーニングの最適制御に向けて
Authors: Jens Püttschneider, Simon Heilig, Asja Fischer, Timm Faulwasser,
Abstract要約: 本稿では,標準アーキテクチャや一般損失関数に適用可能な最適制御問題を反映したResNetのトレーニング定式化を提案する。標準ResNetでは、次のスキップ接続と出力層を介して状態を伝播することで中間出力を得る。
参考スコア（独自算出の注目度）: 11.406720445569183
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a training formulation for ResNets reflecting an optimal control problem that is applicable for standard architectures and general loss functions. We suggest bridging both worlds via penalizing intermediate outputs of hidden states corresponding to stage cost terms in optimal control. For standard ResNets, we obtain intermediate outputs by propagating the state through the subsequent skip connections and the output layer. We demonstrate that our training dynamic biases the weights of the unnecessary deeper residual layers to vanish. This indicates the potential for a theory-grounded layer pruning strategy.
Abstract（参考訳）: 本稿では,標準アーキテクチャや一般損失関数に適用可能な最適制御問題を反映したResNetのトレーニング定式化を提案する。最適制御における段階的コスト条件に対応する隠蔽状態の中間出力をペナライズすることで、両方の世界をブリッジすることを提案する。標準ResNetでは、次のスキップ接続と出力層を介して状態を伝播することで中間出力を得る。我々のトレーニングは、不要な深い残留層の重みに偏りがあることを実証する。これは理論基底層プルーニング戦略の可能性を示している。

関連論文リスト

Adaptive Dropout: Unleashing Dropout across Layers for Generalizable Image Super-Resolution [30.395464332809052]
Blind Super-Resolution (blind SR) は、未知の劣化を伴うモデルの一般化能力を高めることを目的としている。特徴の正規化による一般化を促進するドロップアウトにインスパイアされた従来手法は、ブラインドSRにおいて有望な結果を示した。本稿では,ブラインドSRモデルの新たな正規化手法であるAdaptive Dropoutを提案する。
論文参考訳（メタデータ） (2025-06-15T06:21:39Z)
Hierarchical Feature-level Reverse Propagation for Post-Training Neural Networks [24.442592456755698]
エンド・ツー・エンドの自動運転は支配的なパラダイムとして現れてきたが、その高度に絡み合ったブラックボックスモデルは、解釈可能性と安全性の保証の観点から課題を提起している。本稿では,事前学習ニューラルネットワークに適した階層的かつ非結合なポストトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2025-06-08T15:19:03Z)
Towards Better Generalization via Distributional Input Projection Network [10.060095755446234]
本稿では,各層で学習可能な分布に入力を投影する新しいフレームワークDIPNetを紹介する。 DIPNetは局所的滑らか度測定とネットワークのリプシッツ定数の両方を低減し,一般化性能の向上に寄与することを示す。提案手法は既存のモデルにシームレスに組み込むことができ、現代のディープラーニングにおける一般化性能を高めるための汎用的で効果的なアプローチを提供する。
論文参考訳（メタデータ） (2025-06-05T07:13:59Z)
Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
Efficient Stagewise Pretraining via Progressive Subnetworks [53.00045381931778]
一般的な見方では、レイヤのドロップのような段階的なドロップ戦略は、スタック方式のアプローチと比べて効果がない。本稿では, 適切な設計で, 戦略の廃止は, 積み重ね手法よりも競争力があることを示すことによって, この概念に挑戦する。本稿では,各ステップでランダムサブネットワークのみを選択し,訓練し,段階的に拡大するランダムパートトレーニング(RAPTR)を提案する。
論文参考訳（メタデータ） (2024-02-08T18:49:09Z)
Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文参考訳（メタデータ） (2023-12-25T18:51:23Z)
Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文参考訳（メタデータ） (2021-11-02T20:24:01Z)
Characterizing signal propagation to close the performance gap in unnormalized ResNets [22.638397557336663]
バッチ正規化は、バッチ内のトレーニング例間の独立性を破り、計算とメモリオーバーヘッドを発生させ、しばしば予期せぬバグを引き起こす。我々は,フォワードパス上での信号伝搬を特徴付ける簡易な解析ツールセットを提案し,これらのツールを用いて活性化正規化層を必要とせず,高パフォーマンスのresnetを設計する。私たちの成功に重大なのは、最近提案された重量標準化の適応版です。解析ツールは、チャネルごとのアクティベーション手段が深さとともに成長しないようにすることで、ReLUやSwishのアクティベーション機能付きネットワークにおける信号の保存方法を示す。
論文参考訳（メタデータ） (2021-01-21T16:07:06Z)
Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文参考訳（メタデータ） (2020-08-07T02:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。