Fugu-MT 論文翻訳(概要): Transferability of Winning Lottery Tickets in Neural Network Differential Equation Solvers

論文の概要: Transferability of Winning Lottery Tickets in Neural Network Differential Equation Solvers

arxiv url: http://arxiv.org/abs/2306.09863v1
Date: Fri, 16 Jun 2023 14:18:47 GMT
ステータス: 処理完了
システム内更新日: 2023-06-19 13:30:15.998683
Title: Transferability of Winning Lottery Tickets in Neural Network Differential Equation Solvers
Title（参考訳）: ニューラルネットワーク微分方程式系における勝利ロテリティケットの伝達性
Authors: Edward Prideaux-Ghee
Abstract要約: 2つのハミルトニアンニューラルネットワークの宝くじを見つけ、両システム間の転送性を示す。 2つのシステムの普遍性は、RGの観点からツールを用いて分析される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work has shown that renormalisation group theory is a useful framework with which to describe the process of pruning neural networks via iterative magnitude pruning. This report formally describes the link between RG theory and IMP and extends previous results around the Lottery Ticket Hypothesis and Elastic Lottery Hypothesis to Hamiltonian Neural Networks for solving differential equations. We find lottery tickets for two Hamiltonian Neural Networks and demonstrate transferability between the two systems, with accuracy being dependent on integration times. The universality of the two systems is then analysed using tools from an RG perspective.
Abstract（参考訳）: 近年の研究では、再正規化群理論が、反復等級プルーニングによるニューラルネットワークのプルーニングプロセスを記述する上で有用なフレームワークであることが示されている。本報告は、rg理論とimpの関係を形式的に記述し、微分方程式を解くためのハミルトニアンニューラルネットワークに対する宝くじチケット仮説と弾性宝くじ仮説に関する以前の結果を拡張した。 2つのハミルトンニューラルネットワークの宝くじを見つけ、積分時間に依存する精度で2つのシステム間の転送可能性を示す。 2つのシステムの普遍性は、RGの観点からツールを用いて分析される。

関連論文リスト

Symplectic Neural Networks Based on Dynamical Systems [0.0]
我々はハミルトン微分方程式の幾何に基づくシンプレクティックニューラルネットワーク(SympNets)のフレームワークを提案し,解析する。 SympNets はハミルトン微分同相空間の普遍近似子であり、解釈可能であり、非消滅性を持つ。
論文参考訳（メタデータ） (2024-08-19T09:18:28Z)
Parallel-in-Time Solutions with Random Projection Neural Networks [0.07282584715927627]
本稿では、常微分方程式の解法であるパラレアルの基本的な並列時間法の一つを考察し、ニューラルネットワークを粗いプロパゲータとして採用することにより拡張する。提案アルゴリズムの収束特性を理論的に解析し,ローレンツ方程式やバーガースの方程式を含むいくつかの例に対して有効性を示す。
論文参考訳（メタデータ） (2024-08-19T07:32:41Z)
Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文参考訳（メタデータ） (2024-05-22T17:23:15Z)
Generalization Error of Graph Neural Networks in the Mean-field Regime [10.35214360391282]
グラフ畳み込みニューラルネットワークとメッセージパッシンググラフニューラルネットワークという,広く利用されている2種類のグラフニューラルネットワークについて検討する。我々の新しいアプローチは、これらのグラフニューラルネットワークの一般化誤差を評価する平均場内上限を導出することである。
論文参考訳（メタデータ） (2024-02-10T19:12:31Z)
Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
論文参考訳（メタデータ） (2023-10-16T19:54:21Z)
Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文参考訳（メタデータ） (2021-10-12T01:11:07Z)
Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文参考訳（メタデータ） (2021-08-14T05:14:13Z)
Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-19T15:28:00Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)
A function space analysis of finite neural networks with insights from sampling theory [41.07083436560303]
非拡張活性化関数を持つ多層ネットワークが生成する関数空間は滑らかであることを示す。入力が帯域制限の仮定の下では、新しいエラー境界を提供する。前者の利点を示す決定論的一様とランダムサンプリングの両方を解析した。
論文参考訳（メタデータ） (2020-04-15T10:25:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。