論文の概要: SCORE: Replacing Layer Stacking with Contractive Recurrent Depth

• arxiv url: http://arxiv.org/abs/2603.10544v1
• Date: Wed, 11 Mar 2026 08:49:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.856421
• Title: SCORE: Replacing Layer Stacking with Contractive Recurrent Depth
• Title（参考訳）: SCORE: コントラクトリカレント深さによるレイヤスタックのリプレース
• Authors: Guillaume Godin,
• Abstract要約: 残余接続は、現代のディープニューラルネットワークの中心である。 本稿では,従来の層積み重ねに代わる離散的再帰型 SCORE (Skip-Connection ODE Recurrent Embedding) を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Residual connections are central to modern deep neural networks, enabling stable optimization and efficient information flow across depth. In this work, we propose SCORE (Skip-Connection ODE Recurrent Embedding), a discrete recurrent alternative to classical layer stacking. Instead of composing multiple independent layers, SCORE iteratively applies a single shared neural block using an ODE (Ordinary Differential Equation)-inspired contractive update: ht+1 = (1 - dt) * ht + dt * F(ht) This formulation can be interpreted as a depth-by-iteration refinement process, where the step size dt explicitly controls stability and update magnitude. Unlike continuous Neural ODE approaches, SCORE uses a fixed number of discrete iterations and standard backpropagation without requiring ODE solvers or adjoint methods. We evaluate SCORE across graph neural networks (ESOL molecular solubility), multilayer perceptrons, and Transformer-based language models (nanoGPT). Across architectures, SCORE generally improves convergence speed and often accelerates training. SCORE is reducing parameter count through shared weights. In practice, simple Euler integration provides the best trade-off between computational cost and performance, while higher-order integrators yield marginal gains at increased compute. These results suggest that controlled recurrent depth with contractive residual updates offers a lightweight and effective alternative to classical stacking in deep neural networks.
• Abstract（参考訳）: 残余接続は現代のディープニューラルネットワークの中心であり、安定した最適化と奥行きの効率的な情報フローを可能にする。 本研究では,従来の層積み重ねに対する離散的な再帰的手法であるSCORE(Skip-Connection ODE Recurrent Embedding)を提案する。 ht+1 = (1 - dt) * ht + dt * F(ht) この定式化は、ステップサイズdtが安定性と更新サイズを明示的に制御する、深さごとの洗練プロセスとして解釈することができる。 連続ニューラルODEアプローチとは異なり、SCOREはODEソルバや随伴法を必要とせず、一定数の離散反復と標準バックプロパゲーションを使用する。 我々は、グラフニューラルネットワーク(ESOL分子溶解度)、多層パーセプトロン、トランスフォーマーベース言語モデル(nanoGPT)におけるSCOREを評価する。 アーキテクチャ全体で、SCOREは一般的に収束速度を改善し、トレーニングを加速する。 SCOREは共有重みによるパラメータ数を削減する。 実際、単純なオイラー積分は計算コストと性能の最良のトレードオフを提供するが、高次積分器は計算量の増加で限界ゲインを得る。 これらの結果から,契約的残差更新による制御された再帰深さは,ディープニューラルネットワークにおける古典的積み重ねに対する軽量で効果的な代替手段となることが示唆された。

関連論文リスト

• MsDC-DEQ-Net: Deep Equilibrium Model (DEQ) with Multi-scale Dilated Convolution for Image Compressive Sensing (CS) [0.0]
  圧縮センシング(CS)は、従来のサンプリング法よりも少ない測定値を用いてスパース信号の回復を可能にする技術である。 我々はCSを用いた自然画像再構成のための解釈可能かつ簡潔なニューラルネットワークモデルを構築した。 MsDC-DEQ-Netと呼ばれるこのモデルは、最先端のネットワークベースの手法と比較して、競争力のある性能を示す。
  論文  参考訳（メタデータ） (2024-01-05T16:25:58Z)
• On Tuning Neural ODE for Stability, Consistency and Faster Convergence [0.0]
  本研究では,Nesterov'sAccelerated gradient (NAG) を用いたODE-solverを提案する。 我々は、より速くトレーニングし、より優れた、または同等のパフォーマンスをニューラルダイオードに対して達成し、アプローチの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-04T06:18:10Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• A memory-efficient neural ODE framework based on high-level adjoint differentiation [4.063868707697316]
  我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。 PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
  論文  参考訳（メタデータ） (2022-06-02T20:46:26Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。