論文の概要: Predictions Based on Pixel Data: Insights from PDEs and Finite
Differences
- arxiv url: http://arxiv.org/abs/2305.00723v1
- Date: Mon, 1 May 2023 08:54:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 13:43:56.201558
- Title: Predictions Based on Pixel Data: Insights from PDEs and Finite
Differences
- Title(参考訳): ピクセルデータに基づく予測:PDEと差分からの洞察
- Authors: Elena Celledoni, James Jackaman, Davide Murari, Brynjulf Owren
- Abstract要約: 本稿では,行列や高次テンソルが各観測値を表すシーケンス近似タスクについて述べる。
PDEの時空間偏差から生じる系列を近似すると,比較的小さなネットワークが用いられる可能性がある。
離散畳み込み演算子と有限差分演算子との間の接続を利用して、これらの結果を構成的に導出する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks are the state-of-the-art for many approximation tasks in
high-dimensional spaces, as supported by an abundance of experimental evidence.
However, we still need a solid theoretical understanding of what they can
approximate and, more importantly, at what cost and accuracy. One network
architecture of practical use, especially for approximation tasks involving
images, is convolutional (residual) networks. However, due to the locality of
the linear operators involved in these networks, their analysis is more
complicated than for generic fully connected neural networks. This paper
focuses on sequence approximation tasks, where a matrix or a higher-order
tensor represents each observation. We show that when approximating sequences
arising from space-time discretisations of PDEs we may use relatively small
networks. We constructively derive these results by exploiting connections
between discrete convolution and finite difference operators. Throughout, we
design our network architecture to, while having guarantees, be similar to
those typically adopted in practice for sequence approximation tasks. Our
theoretical results are supported by numerical experiments which simulate
linear advection, the heat equation, and the Fisher equation. The
implementation used is available at the repository associated to the paper.
- Abstract(参考訳): ニューラルネットワークは高次元空間における多くの近似タスクの最先端技術であり、多くの実験的証拠によって支えられている。
しかし、我々はそれらが近似できること、そしてより重要なのは、どのコストと精度で、しっかりとした理論的理解が必要である。
実用的ネットワークアーキテクチャの1つ、特に画像を含む近似タスクは畳み込みネットワーク (convolutional (residual) network) である。
しかしながら、これらのネットワークに関わる線形作用素の局所性のため、それらの解析は一般の完全連結ニューラルネットワークよりも複雑である。
本稿では,行列や高次テンソルが各観測値を表すシーケンス近似タスクに注目した。
PDEの時空間偏差から生じる系列を近似すると,比較的小さなネットワークが用いられる。
離散畳み込み演算子と有限差分演算子の間の接続を利用してこれらの結果を導出する。
全体として、私たちはネットワークアーキテクチャを保証しながら、シーケンス近似タスクに実際に採用されるものと類似させるように設計します。
我々の理論的結果は線形対流、熱方程式、フィッシャー方程式をシミュレートする数値実験によって支持される。
使用される実装は、論文に関連するリポジトリで利用可能である。
関連論文リスト
- A Theoretical View on Sparsely Activated Networks [21.156069843782017]
本稿では、一般的なアーキテクチャの健全な側面を捉えるデータ依存スパースネットワークの形式モデルを提案する。
次に、LSH(Locality sensitive hashing)に基づくルーティング関数を導入し、スパースネットワークがターゲット関数をどの程度うまく近似するかを判断する。
スパースネットワークはリプシッツ関数上の高密度ネットワークの近似力と一致することが証明できる。
論文 参考訳(メタデータ) (2022-08-08T23:14:48Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳(メタデータ) (2021-07-07T16:59:14Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳(メタデータ) (2021-06-12T13:05:11Z) - Universality and Optimality of Structured Deep Kernel Networks [0.0]
カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。
機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。
本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
論文 参考訳(メタデータ) (2021-05-15T14:10:35Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - On the eigenvector bias of Fourier feature networks: From regression to
solving multi-scale PDEs with physics-informed neural networks [0.0]
ニューラルネットワーク(PINN)は、目標関数を近似する場合には、高周波またはマルチスケールの特徴を示す。
マルチスケールなランダムな観測機能を備えた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢で正確なPINNモデルにどのように結びつくかを正当化します。
論文 参考訳(メタデータ) (2020-12-18T04:19:30Z) - Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid
Flow Prediction [79.81193813215872]
我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。
ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
論文 参考訳(メタデータ) (2020-07-08T21:23:19Z) - Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。
非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。
実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
論文 参考訳(メタデータ) (2020-03-07T01:56:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。