論文の概要: Do ResNets Route? Sparse Interaction Experts in Residual Networks

• arxiv url: http://arxiv.org/abs/2610.02907v1
• Date: Fri, 02 Oct 2026 06:56:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.24794
• Title: Do ResNets Route? Sparse Interaction Experts in Residual Networks
• Title（参考訳）: ResNetsのルートは? 残留ネットワークにおけるスパースインタラクションエキスパート
• Abstract要約: 残余ネットワークはすべての入力に対してすべてのブロックを実行するが、その機能的なコントリビューションは独立に入力される必要はない。 トレーニングされたResNetをバイナリ残枝マスク上の集合関数として定式化する。 滑らかな残留スタックに対して、各固定された$k$-way相互作用は、残留スケーリングの下で$mathcalO(k)$としてスケールすることを示す。
• 参考スコア（独自算出の注目度）: 12.326417444301677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Residual networks execute every block for every input, yet their functional contributions need not be input independent. We formulate a trained ResNet as a set function over binary residual-branch masks and apply Möbius inversion to decompose its output exactly into individual residual corrections and higher-order interactions. For smooth residual stacks, we show that each fixed $k$-way interaction scales as $\mathcal{O}(λ^k)$ under residual scaling. Exhaustive analysis of ImageNet-pretrained ResNet-18 and ResNet-34 reveals that interaction mass peaks at orders five and ten, respectively, rather than at low orders. Reducing the residual scale shifts both spectra toward lower orders, but also changes model predictions. The interaction coefficients are concentrated in magnitude but not hard sparse, and prediction-preserving sparsity weakens with depth. Crucially, the dominant interactions vary across inputs and predicted classes around a shared global core, while their overall complexity changes little with sample difficulty. These results show that dense ResNets implement an implicit form of soft routing: every block is executed, but different inputs rely on different residual interaction experts. Routing can therefore emerge at the level of functional contribution without an explicit router or sparse execution.
• Abstract（参考訳）: 残余ネットワークはすべての入力に対してすべてのブロックを実行するが、その機能的なコントリビューションは独立に入力される必要はない。 トレーニングされたResNetを二進残差マスク上の集合関数として定式化し、メビウス・インバージョンを適用してその出力を個々の残差補正と高次相互作用に正確に分解する。 滑らかな残留スタックに対して、各固定された$k$-way相互作用は、残留スケーリングの下で$\mathcal{O}(λ^k)$としてスケールすることを示す。 ImageNet-pretrained ResNet-18 と ResNet-34 の排他的分析により、相互作用質量は低次ではなく、それぞれ 5 と 10 でピークとなることが明らかになった。 残留スケールの縮小は、両方のスペクトルを下位順にシフトさせるが、モデル予測も変更する。 相互作用係数はマグニチュードに集中しているが、硬いスパースではない。 重要な点として、主要な相互作用は、共有されたグローバルコアの周りの入力や予測クラスによって異なるが、全体的な複雑さはサンプルの難易度によってほとんど変化しない。 これらの結果から、密度の高いResNetは、すべてのブロックが実行されるが、異なる入力は異なる残留相互作用の専門家に依存するという、暗黙的な形式のソフトルーティングを実装していることがわかる。 したがってルーティングは、明示的なルータやスパース実行なしで、機能的なコントリビューションのレベルで発生することができる。

関連論文リスト

• Task-Restricted Symmetries in Recurrent Weight Space [0.0]
  リカレントネットワークは、重量空間におけるかなりの機能的冗長性を含むことができる。 順序付き実シュア座標を用いた一層タンタンRNNにおけるこの冗長性について検討する。
  論文  参考訳（メタデータ） (2026-06-16T20:04:07Z)
• The Cost of Relaxation: Evaluating the Error in Convex Neural Network Verification [10.268619734362547]
  元のネットワークと凸緩和の最悪の違いについて検討する。 完全に緩和された出力と元の出力の間の$ell_infty$-距離について解析的な上界と下界を提供する。 この結果は,MNIST,Fashion MNIST,ランダムネットワークの実験によって支持される。
  論文  参考訳（メタデータ） (2026-04-20T18:25:56Z)
• Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
  テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。 1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。 その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
  論文  参考訳（メタデータ） (2025-07-01T18:46:27Z)
• Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient for Convolutional Neural Networks [74.68583356645276]
  ディープラーニングでは、Mixix-of-experts(MoE)が、サンプル単位またはトーケン単位で専門家(サブネットワーク)を活性化する。 我々は,pMoEが適切な一般化を実現するために,必要なトレーニングサンプル数を確実に削減できることを初めて示す。
  論文  参考訳（メタデータ） (2023-06-07T00:16:10Z)
• Scaling ResNets in the Large-depth Regime [11.374578778690623]
  Deep ResNetは、機械学習タスクで最先端の結果を達成するために認識されている。 Deep ResNetsは、勾配の消滅や爆発を避けるために慎重に設計する必要があるトレーニング手順に依存している。 この問題を緩和する方法については合意が得られていないが、広く議論されている戦略は、各レイヤの出力を$alpha_L$でスケーリングすることである。
  論文  参考訳（メタデータ） (2022-06-14T15:49:10Z)
• Adder Neural Networks [75.54239599016535]
  我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-29T04:02:51Z)
• Alleviate Exposure Bias in Sequence Prediction \\ with Recurrent Neural Networks [47.52214243454995]
  繰り返しニューラルネットワーク(RNN)を訓練する一般的な戦略は、各ステップで入力として地上の真実を取ることです。 本稿では,RNNの長期的依存関係をよりよく把握するための,完全微分可能なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-22T06:15:22Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• $O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers [71.31712741938837]
  注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。 また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
  論文  参考訳（メタデータ） (2020-06-08T18:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。