論文の概要: Low-dimensional topology of deep neural networks

• arxiv url: http://arxiv.org/abs/2606.31856v1
• Date: Tue, 30 Jun 2026 15:53:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.292203
• Title: Low-dimensional topology of deep neural networks
• Title（参考訳）: 深部ニューラルネットワークの低次元トポロジー
• Abstract要約: フィードフォワードネットワーク、ResNet、トランスフォーマーを含む層モデルについて、各層を$d = 3$の幅に制限することで検討する。 これにより、ニューラルネットワークがその層を通して低次元の位相不変量をどのように変化させるかを追跡することができる。
• 参考スコア（独自算出の注目度）: 2.396810202210905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study layered models, including feedforward networks, ResNets, and transformers, by limiting each layer to a width of $d = 3$, i.e., $\mathbb{R}^3$ as representation space. This allows us to track how a neural network changes low-dimensional topological invariants through its layers. Just about any topological structure may be simplified or even trivialized by simply increasing dimension; e.g., any knot is equivalent to an unknot in $\mathbb{R}^4$. By restricting to $\mathbb{R}^3$, we not only isolate the effects of activation and depth from that of width, we work in a space that lends itself to easy visualization. We focus on linking number here, deferring other invariants like link groups, Milnor's $\barμ$-invariants, knot types, ambient cobordisms, to a sequel. We provide full proofs and empirical experiments to justify the following insights: When measured by their power to effect changes in linking numbers, the layer-skipping feature in ResNets is as powerful as the attention mechanism in transformers; both ResNets and transformers are strictly more powerful than feedforward neural networks with monotonic activations, which are in turn more powerful than invertible and flow-based models; but replacing monotonic activation with a nonmonotonic one elevates a feedforward network into the same expressivity class as ResNets and transformers. These results suggest that low-dimensional topology can be a useful tool to guide designs of AI architectures. We also generalize our results from $d = 3$ to arbitrary $d > 3$.
• Abstract（参考訳）: 本稿では,フィードフォワードネットワーク,ResNet,トランスフォーマーなどの階層モデルについて,各レイヤの幅を$d = 3$,すなわち$\mathbb{R}^3$に制限することで検討する。 これにより、ニューラルネットワークがその層を通して低次元の位相不変量をどのように変化させるかを追跡することができる。 例えば、任意の結び目は $\mathbb{R}^4$ の unknot と同値である。 $\mathbb{R}^3$に制限することにより、活性化と深さの影響を幅の影響から分離するだけでなく、容易に視覚化できる空間で作業する。 ここではリンク数に注目し、リンク群、ミルナーの$\barμ$-不変量、結び目型、周囲のコボルディズムなどの他の不変量を続編に延期する。 ResNetsのレイヤースキッピング機能は、トランスフォーマーのアテンション機構と同じくらい強力である; ResNetsとトランスフォーマーはどちらも、モノトニックなアクティベーションを持つフィードフォワードニューラルネットワークよりも厳格に強力であり、インバータブルやフローベースモデルよりも強力であるが、モノトニックなアクティベーションを非モノトニックなモデルに置き換えることで、フィードフォワードネットワークをResNetsとトランスフォーマーと同じ表現性クラスに置き換える。 これらの結果から,低次元トポロジはAIアーキテクチャの設計をガイドするのに有用なツールであることが示唆された。 結果も$d = 3$から任意の$d > 3$に一般化します。

関連論文リスト

• NN-Former: Rethinking Graph Structure in Neural Architecture Representation [67.3378579108611]
  グラフニューラルネットワーク(GNN)とトランスフォーマーは、ニューラルネットワークを表現する上で有望なパフォーマンスを示している。 これまでの研究で見過ごされている間、兄弟ノードは中心的であることを示す。 我々のアプローチは、精度と遅延予測の両方において、常に有望な性能を達成する。
  論文  参考訳（メタデータ） (2025-07-01T15:46:18Z)
• On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
  多様なタスクを伴う線形回帰のための文脈内学習について検討する。 We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
  論文  参考訳（メタデータ） (2024-10-29T03:27:56Z)
• Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
  ResNets と Fully-Connected Nets を相互接続する Leaky ResNets について「有効深度」に依存して検討する。 この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
  論文  参考訳（メタデータ） (2024-05-27T18:15:05Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• A Feedforward Unitary Equivariant Neural Network [3.6220250022337335]
  我々は新しいタイプのフィードフォワードニューラルネットワークを考案した。 これはユニタリ群 $U(n)$ に対して同変である。 入力と出力は任意の次元が$n$の$mathbbCn$のベクトルである。
  論文  参考訳（メタデータ） (2022-08-25T15:05:02Z)
• On the Banach spaces associated with multi-layer ReLU networks: Function representation, approximation theory and gradient descent dynamics [8.160343645537106]
  有限深さ$L$および無限幅のReLUニューラルネットワークに対するバナッハ空間を開発する。 空間はすべての有限完全連結な$L$-層ネットワークと、それらの$L2$-極限オブジェクトを自然経路ノルムの下に含む。 このノルムの下では、$L$層ネットワークの空間内の単位球は、ラデマッハの複雑さが低く、したがって好ましい性質を持つ。
  論文  参考訳（メタデータ） (2020-07-30T17:47:05Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• Topology of deep neural networks [8.946655323517092]
  M = M_a cup M_b subseteq mathbbRd$データセットのトポロジが、よく訓練されたニューラルネットワークの層を通過するとどのように変化するかを研究する。
  論文  参考訳（メタデータ） (2020-04-13T17:53:36Z)
• $\Pi-$nets: Deep Polynomial Neural Networks [86.36557534288535]
  $Pi$-Netsは、出力が入力の高次であるニューラルネットワークである。 我々は、$Pi$-Netsが標準のDCNNよりも優れた表現能力を持っていることを実証的に実証した。 近年のStyleGANのような生成モデルが,先行モデルに改良を加えた理由を解明する。
  論文  参考訳（メタデータ） (2020-03-08T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。