論文の概要: Integrable building blocks for symplectic neural networks: learned-type layers, fiber-preserving layers, and what a single layer can do
- arxiv url: http://arxiv.org/abs/2610.25023v1
- Date: Sun, 18 Oct 2026 05:02:59 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:25:55.072185
- Title: Integrable building blocks for symplectic neural networks: learned-type layers, fiber-preserving layers, and what a single layer can do
- Title(参考訳): シンプレクティックニューラルネットワークのための統合可能なビルディングブロック:学習型層、繊維保存層、単一層ができること
- Abstract要約: 厳密なシンプレクティックニューラルネットワークはほとんどせん断写像から構築され、深さを通してのみ表現力を得る。
学習型層、移動平面せん断、および既知のリッジ関数クラスの外側の残差シンプレクティックマップの3種類の層が見つかる。
6から40のサイトを持つ非線形シュルディンガー格子では、線形シンプレクティック写像と交互に回転するツイスト層は、シアベースネットワークの100倍以上の精度を持つ。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Exactly symplectic neural networks are built almost exclusively from shear maps and gain expressivity only through depth. We ask what else a single explicit symplectic layer can be. Observing that every layer in use is the exact flow of a Hamiltonian that is a function of commuting integrals, we obtain three families of layers: a learned-type layer, in which every conjugate pair is rotated, squeezed or sheared by a state-dependent amount and the type is found by training; moving-plane shears, residual symplectic maps outside the known ridge-function class; and fiber-preserving layers, which combine an unconstrained point transformation with a fiber translation at the cost of one linear solve. We characterize residual symplectic layers $x \mapsto x + J\nabla H(x)$: in one degree of freedom they are exactly the shears along a line, while from two degrees of freedom on a strictly larger class exists. Conjugating a learned-type layer by a symplectic network yields an exact one-parameter group with an exactly conserved learned Hamiltonian. In experiments on sixteen systems with one to forty degrees of freedom, against SympNets, HénonNets and learned-plane shear networks, layers built on nonlinear integrals are far more accurate when the Hamiltonian contains functions of those integrals. On nonlinear Schrödinger lattices with six to forty sites, twist layers alternating with linear symplectic maps are over a hundred times more accurate than every shear-based network, and with an on-site potential of learned form three to four orders of magnitude more accurate. On chains of Tao oscillators with the step size as an input, stretch layers are 45 to 70 times more accurate than learned-plane shears and recover the Hamiltonian to 1%. On generic non-separable systems, fiber layers improve on learned-plane shears by at most a factor of two, and widening the networks does not help any architecture.
- Abstract(参考訳): 厳密なシンプレクティックニューラルネットワークはほとんどせん断写像から構築され、深さを通してのみ表現力を得る。
ひとつの明示的なシンプレクティックレイヤが他に何であるかを問う。
すべての層が可換積分の関数であるハミルトニアンの正確な流れを観察すると、すべての共役対が状態依存量で回転、圧縮、あるいはせん断される学習型層、運動平面せん断、既知のリッジ関数クラスの外側の残差シンプレクティックマップ、制約のない点変換と1つの線形解のコストでファイバー変換を組み合わせた繊維保存層という3種類の層が得られる。
残差シンプレクティック層 $x \mapsto x + J\nabla H(x)$: 1つの自由度において、それらはちょうど直線に沿ったせん断であり、厳密なより大きいクラス上の2つの自由度から存在する。
シンプレクティックネットワークで学習型層を共役すると、正確に保存されたハミルトニアンを持つ正確な1パラメータ群が得られる。
シンプネット、ヘノンネット、および学習平面せん断ネットワークに対する1から40度の自由度を持つ16の系の実験では、ハミルトニアンがそれらの積分の関数を含むとき、非線形積分上に構築された層ははるかに正確である。
6から40のサイトを持つ非線形シュレーディンガー格子では、線形シンプレクティック写像と交互に交互に働くツイスト層は、すべてのシアベースネットワークの100倍以上正確であり、学習形式のオンサイトポテンシャルは3から4桁の精度を持つ。
ステップサイズを入力とするTao発振器のチェーンでは、ストレッチ層は学習面のせん断より45〜70倍正確であり、ハミルトニアンを1%まで回復する。
一般的な非分離性システムでは、繊維層は学習面のせん断を少なくとも2倍改善し、ネットワークの拡大はアーキテクチャの助けにならない。
関連論文リスト
- Consistent Geometric Deep Learning via Hilbert Bundles and Cellular Sheaves [68.683840670745]
本稿では,多様体上の無限次元信号に対する新しい畳み込み学習フレームワークを提案する。
HilbNetsと、より一般的には、2段階のサンプリング手順により、畳み込み操作を実装できるようにします。
我々の結果は、古典ラプラシア語に基づくフレームワークを、各点の信号が自身のヒルベルト空間に存在するような設定へと持ち上げることで、幾何学的学習の全体範囲を広げる。
論文 参考訳(メタデータ) (2026-05-07T15:08:58Z) - Provable Learning of Random Hierarchy Models and Hierarchical Shallow-to-Deep Chaining [58.69016084278948]
我々は、arXiv:2307.02129によって導入された階層的な文脈自由文法を考察し、深層ネットワークと浅層ネットワークの分離を予想する。
弱い条件下では、深い畳み込みネットワークを効率的に訓練し、この関数クラスを学習できることを証明した。
論文 参考訳(メタデータ) (2026-01-27T16:19:54Z) - The Geometry of the Set of Equivalent Linear Neural Networks [0.0]
線形ニューラルネットワークが同じ線形変換を$W$で計算する全重みベクトルの集合の幾何学と位相を特徴づける。
線形ニューラルネットワークの各層をサブスペースの集合に分解し、ニューラルネットワークを通して情報がどのように流れるかを示す。
論文 参考訳(メタデータ) (2024-04-23T09:20:55Z) - Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。
いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文 参考訳(メタデータ) (2024-02-21T18:35:27Z) - ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳(メタデータ) (2023-05-24T22:10:12Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳(メタデータ) (2023-03-06T14:31:09Z) - Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。
すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。
単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文 参考訳(メタデータ) (2020-05-04T20:03:21Z) - Backward Feature Correction: How Deep Learning Performs Deep
(Hierarchical) Learning [66.05472746340142]
本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。
我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
論文 参考訳(メタデータ) (2020-01-13T17:28:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。