論文の概要: ResNets Are Deeper Than You Think

• arxiv url: http://arxiv.org/abs/2506.14386v1
• Date: Tue, 17 Jun 2025 10:33:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.429597
• Title: ResNets Are Deeper Than You Think
• Title（参考訳）: ResNetsはあなたの考えるより深い
• Authors: Christian H. X. Ali Mehmeti-Göpel, Michael Wand,
• Abstract要約: 残余の接続は、導入から10年近く経っても、現代のニューラルネットワークアーキテクチャにおいてユビキタスである。 彼らの広く採用されていることは、しばしばその訓練能力が劇的に向上したと信じられている。 残余接続は、最適化以上の性能上の優位性を示し、代わりに、自然データの構造に合わせたより深い帰納バイアスを示す。
• 参考スコア（独自算出の注目度）: 5.250288418639077
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Residual connections remain ubiquitous in modern neural network architectures nearly a decade after their introduction. Their widespread adoption is often credited to their dramatically improved trainability: residual networks train faster, more stably, and achieve higher accuracy than their feedforward counterparts. While numerous techniques, ranging from improved initialization to advanced learning rate schedules, have been proposed to close the performance gap between residual and feedforward networks, this gap has persisted. In this work, we propose an alternative explanation: residual networks do not merely reparameterize feedforward networks, but instead inhabit a different function space. We design a controlled post-training comparison to isolate generalization performance from trainability; we find that variable-depth architectures, similar to ResNets, consistently outperform fixed-depth networks, even when optimization is unlikely to make a difference. These results suggest that residual connections confer performance advantages beyond optimization, pointing instead to a deeper inductive bias aligned with the structure of natural data.
• Abstract（参考訳）: 残余の接続は、導入から10年近く経っても、現代のニューラルネットワークアーキテクチャにおいてユビキタスである。 残余のネットワークは、フィードフォワードのネットワークよりも速く、安定的に訓練し、高い精度を達成する。 改良された初期化から高度な学習率スケジュールまで、多くの技術が残差とフィードフォワードネットワークのパフォーマンスギャップを埋めるために提案されているが、このギャップは継続されている。 本研究では、残余ネットワークは単にフィードフォワードネットワークを再パラメータ化するのではなく、異なる関数空間に居住する、という別の説明を提案する。 トレーニング容易性から一般化性能を分離する制御後比較を設計し,ResNetsに類似した可変深度アーキテクチャが,最適化が相違を生じにくい場合でも,一定深度ネットワークを一貫して上回ることを示した。 これらの結果は、残差接続は最適化以上の性能上の優位性を示し、代わりに自然データの構造に合わせたより深い帰納バイアスを示すことを示唆している。

関連論文リスト

• Fast Training of Recurrent Neural Networks with Stationary State Feedbacks [48.22082789438538]
  リカレントニューラルネットワーク(RNN)は最近、Transformerよりも強力なパフォーマンスと高速な推論を実証している。 BPTTを固定勾配フィードバック機構で置き換える新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-29T14:45:52Z)
• Power-Enhanced Residual Network for Function Approximation and Physics-Informed Inverse Problems [0.0]
  本稿では、パワーエンハンシング残差ネットワークと呼ばれる新しいニューラルネットワーク構造を提案する。 2Dおよび3D設定におけるスムーズかつ非スムーズな関数近似のネットワーク機能を改善する。 その結果、特に非滑らか関数に対して、提案したパワーエンハンシング残差ネットワークの例外的精度を強調した。
  論文  参考訳（メタデータ） (2023-10-24T10:01:15Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Orthogonalized SGD and Nested Architectures for Anytime Neural Networks [30.598394152055338]
  直交化SGDはマルチタスクネットワークをトレーニングする際のタスク固有の勾配を動的に再バランスさせる。 実験により、オルソゴン化SGDによるトレーニングは、任意の時間ネットワークの精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-08-15T03:06:34Z)
• A Differential Game Theoretic Neural Optimizer for Training Residual Networks [29.82841891919951]
  本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。 得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
  論文  参考訳（メタデータ） (2020-07-17T10:19:17Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。