論文の概要: DepthBench: Measuring How Residual Connections Enable More Computational Depth

• arxiv url: http://arxiv.org/abs/2609.32534v1
• Date: Sat, 26 Sep 2026 12:15:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 07:00:09.105512
• Title: DepthBench: Measuring How Residual Connections Enable More Computational Depth
• Title（参考訳）: DepthBench: 残差接続によって計算深度が向上する方法
• Abstract要約: textbfDepthBenchは、様々なアーキテクチャで計算深度を研究するためのベンチマークである。 より多くのキャパシティを深さに割り当てるメリットは、アーキテクチャに依存していることが分かっています。 HCとFull AttnResは極深部でも一貫して改善する。
• 参考スコア（独自算出の注目度）: 26.64800199909681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth is a natural way to increase the computational capacity in Transformers, yet the contribution of deeper layers can diminish as depth grows larger. Recent approaches enhance normalization (\text{e.g.}, LayerNorm Scaling) or residual connections (\text{e.g.}, mHC, AttnRes) to enable better information flow and depth utilization. However, it remains unclear whether they truly translate increased architectural depth into effective computational depth, and whether their reported gains stem from better access to information across depth, or unaccounted-for confounding factors. In this paper, we introduce \textbf{DepthBench}, a controlled benchmark for studying computational depth across various architectures. We systematically vary the width--depth aspect ratio ($d_{\text{model}}/n_{\text{layer}}$) from shallow--wide to deep--narrow shapes, while keeping the model size and pre-training recipe fixed. Across 10 representative architectures, we find that the benefit of allocating more capacity to depth is strongly architecture-dependent. Standard Pre-LN and most of its norm- and scaling-based variants provide little benefit and can even degrade performance as models become deeper and narrower, whereas HC and Full AttnRes improve consistently even at extreme deep shapes. These gains extend beyond pre-training loss and consistently translate into improved domain-specific performance and effective computation. Controlled layer-level analyses further show that the gains of HC and Full AttnRes are associated with more effective utilization of additional layers, revealing distinct mechanisms of computational depth across architectures. Overall, our results identify residual connection design as a key determinant of whether depth can serve as a meaningful scaling axis by enabling additional architectural depth to translate into effective computation.
• Abstract（参考訳）: 深度はトランスフォーマーの計算能力を高める自然な方法であるが、深度が大きくなるにつれて深度層の寄与は減少する。 近年の手法では正規化(\text{e g }, LayerNorm Scaling)や残留接続(\text{e g }, mHC, AttnRes)が向上し, 情報フローと深度利用が向上している。 しかし、それらがアーキテクチャの深度を効果的に計算深度に変換するのか、その報告された成果が深度を越えた情報へのアクセスの改善によるものなのか、未確認の要因によるものなのかは、まだ不明である。 本稿では,各種アーキテクチャの計算深度を制御したベンチマークであるtextbf{DepthBench}を紹介する。 モデルサイズと事前学習のレシピを固定しつつ、幅-深さアスペクト比(d_{\text{model}}/n_{\text{layer}}$)を浅層から深部まで体系的に変化させる。 10の代表的なアーキテクチャで、より多くのキャパシティを深さに割り当てるメリットは、アーキテクチャに依存していることが分かりました。 標準のPre-LNとほとんどの標準およびスケーリングベースの変種は、モデルがより深く狭くなるにつれて性能が低下するが、HCとFull AttnResは極端に深い形でも一貫して改善する。 これらのゲインはトレーニング前の損失を超えて拡張され、一貫してドメイン固有のパフォーマンスと効率的な計算に変換される。 制御層レベルの分析により、HCとFull AttnResの利得は、アーキテクチャ全体にわたる計算深さの明確なメカニズムを明らかにするために、追加層をより効果的に利用することと関連していることが示された。 以上の結果から, 余剰接続設計は, 付加的なアーキテクチャ深度を有効計算に変換することにより, 意味のあるスケーリング軸として機能できるかどうかを決定づける重要な要因であることがわかった。

関連論文リスト

• Scaling Adaptive Depth with Norm-Agnostic Residual Networks [9.219329760729629]
  NAGは標準に依存しない残差アーキテクチャであり、残差ストリームの方向情報から大きさを分離する。 NAGは無視できる数の追加パラメータしか導入せず、簡単にカーネルで実現可能な単純な操作に依存している。 このアーキテクチャはベースライントランスフォーマーよりも優れており,奥行きが大きくなるにつれて大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-06-15T02:05:37Z)
• ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling [57.91760520589592]
  ネットワークの深度を拡大することは、現代の基礎モデルの成功の背後にある中心的な要因である。 本稿では,ニューラルネットワークの奥行き,すなわち残差接続の既定メカニズムを再考する。 我々は、データから残余接続性をパラメータ化し、学習する原則的かつ軽量なフレームワークである、適応型ニューラルネットワーク再割り当て(ANCRe)を導入する。
  論文  参考訳（メタデータ） (2026-02-09T18:54:18Z)
• Effect of Convolutional Depth on Image Recognition Performance: VGG vs. ResNet vs. GoogLeNet [0.0]
  本研究では,深度が分類性能,収束挙動,計算効率に与える影響について検討する。 深度の利点は、トレーニング中の効果的な発現を制限するアーキテクチャメカニズムに大きく依存していることが示される。 これらの結果は,畳み込みネットワークにおける生産的スケーリング次元としての深度の役割を規定する作業量であることを示す。
  論文  参考訳（メタデータ） (2026-02-09T10:14:15Z)
• UDPNet: Unleashing Depth-based Priors for Robust Image Dehazing [77.10640210751981]
  UDPNetは、大規模で事前訓練された深度推定モデルDepthAnything V2から深度に基づく事前情報を活用する一般的なフレームワークである。 提案手法は,様々なシナリオにまたがる深度認識デハージングのための新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2026-01-11T13:29:02Z)
• Step by Step Network [56.413861208019576]
  ネットワーク深さのスケールアップは、ニューラルアーキテクチャ設計における基本的な追求である。 本稿では,残差モデルのスケーリングを阻害する2つの重要な障壁,すなわちショートカット劣化と制限幅を同定する。 本稿では,ステップ・バイ・ステップ・ネットワーク(StepsNet)と呼ばれる,理論的ポテンシャルと実用性能のギャップを埋めるために,一般化された残差アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-11-18T10:35:49Z)
• BaseBoostDepth: Exploiting Larger Baselines For Self-supervised Monocular Depth Estimation [4.970364068620607]
  ポーズ推定の精度を高めるために、インクリメンタルなポーズ推定を導入する。 我々の最終深度ネットワークは、テスト時に計算複雑性を増大させることなく、KITTIとSynS-patchesデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-29T22:05:13Z)
• Make Deep Networks Shallow Again [6.647569337929869]
  余剰接続の概念によってブレークスルーが達成されている。 残差接続層のスタックはテイラー展開に類似した項の拡張として表すことができる。 言い換えれば、シーケンシャルなディープアーキテクチャは、平行な浅層アーキテクチャに置き換えられる。
  論文  参考訳（メタデータ） (2023-09-15T14:18:21Z)
• FactorizeNet: Progressive Depth Factorization for Efficient Network Architecture Exploration Under Quantization Constraints [93.4221402881609]
  量子化制約下での効率的なCNNアーキテクチャ探索のためのプログレッシブ・ディープ・ファクタライズ・ストラテジーを導入する。 アルゴリズムによって深度分解の粒度を漸進的に増大させることで,層状分布の微細で低レベルな解析が可能となる。 このようなプログレッシブな深度分解戦略は、最適深度分解マクロ構造設計の効率的な同定を可能にする。
  論文  参考訳（メタデータ） (2020-11-30T07:12:26Z)
• Faster Depth-Adaptive Transformers [71.20237659479703]
  深さ適応型ニューラルネットワークは入力単語の硬さに応じて動的に深さを調整することができる。 従来の作業は一般的に、計算が各レイヤで続行するか停止するかを決定するために停止ユニットを構築する。 本稿では,停止ユニットを除去し,必要な深さを事前に推定し,より高速な深度適応モデルを生成する。
  論文  参考訳（メタデータ） (2020-04-27T15:08:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。