論文の概要: A deep learning theory for neural networks grounded in physics

• arxiv url: http://arxiv.org/abs/2103.09985v1
• Date: Thu, 18 Mar 2021 02:12:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-19 13:57:08.022855
• Title: A deep learning theory for neural networks grounded in physics
• Title（参考訳）: 物理を基礎としたニューラルネットワークの深層学習理論
• Authors: Benjamin Scellier
• Abstract要約: ニューロモルフィックアーキテクチャ上で大規模で高速で効率的なニューラルネットワークを構築するには、それらを実装および訓練するためのアルゴリズムを再考する必要がある。 私たちのフレームワークは、非常に幅広いモデル、すなわち状態やダイナミクスが変動方程式によって記述されるシステムに適用されます。
• 参考スコア（独自算出の注目度）: 2.132096006921048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the last decade, deep learning has become a major component of artificial intelligence, leading to a series of breakthroughs across a wide variety of domains. The workhorse of deep learning is the optimization of loss functions by stochastic gradient descent (SGD). Traditionally in deep learning, neural networks are differentiable mathematical functions, and the loss gradients required for SGD are computed with the backpropagation algorithm. However, the computer architectures on which these neural networks are implemented and trained suffer from speed and energy inefficiency issues, due to the separation of memory and processing in these architectures. To solve these problems, the field of neuromorphic computing aims at implementing neural networks on hardware architectures that merge memory and processing, just like brains do. In this thesis, we argue that building large, fast and efficient neural networks on neuromorphic architectures requires rethinking the algorithms to implement and train them. To this purpose, we present an alternative mathematical framework, also compatible with SGD, which offers the possibility to design neural networks in substrates that directly exploit the laws of physics. Our framework applies to a very broad class of models, namely systems whose state or dynamics are described by variational equations. The procedure to compute the loss gradients in such systems -- which in many practical situations requires solely locally available information for each trainable parameter -- is called equilibrium propagation (EqProp). Since many systems in physics and engineering can be described by variational principles, our framework has the potential to be applied to a broad variety of physical systems, whose applications extend to various fields of engineering, beyond neuromorphic computing.
• Abstract（参考訳）: 過去10年間で、ディープラーニングは人工知能の主要なコンポーネントとなり、さまざまな領域にまたがる一連のブレークスルーにつながった。 ディープラーニングのワークホースは、確率勾配降下(SGD)による損失関数の最適化である。 従来のディープラーニングでは、ニューラルネットワークは微分可能な数学的関数であり、SGDに必要な損失勾配はバックプロパゲーションアルゴリズムによって計算される。 しかし、これらのニューラルネットワークが実装され、訓練されたコンピュータアーキテクチャは、これらのアーキテクチャにおけるメモリと処理の分離により、速度とエネルギーの非効率の問題に悩まされる。 これらの問題を解決するために、ニューロモルフィックコンピューティングの分野は、脳と同じようにメモリと処理をマージするハードウェアアーキテクチャ上でニューラルネットワークを実装することを目指している。 この論文では、ニューロモルフィックアーキテクチャ上で大規模で高速で効率的なニューラルネットワークを構築するには、実装とトレーニングを行うアルゴリズムを再考する必要がある、と論じる。 この目的のために,SGDと互換性のある別の数学的枠組みを提案し,物理法則を直接活用する基板にニューラルネットワークを設計することを可能にする。 我々のフレームワークは、非常に広い種類のモデル、すなわち状態や動力学が変分方程式によって記述されるシステムに適用できる。 このようなシステムにおける損失勾配を計算する手順は、多くの実用的な状況において、訓練可能なパラメータごとにローカルに利用可能な情報のみを必要とする)平衡伝播 (equilibrium propagation, eqprop) と呼ばれる。 物理学や工学の多くのシステムは変分原理によって記述できるため、我々のフレームワークは、ニューロモルフィックコンピューティング以外の様々な工学分野に応用できる幅広い物理システムに適用できる可能性を持っている。

関連論文リスト

• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• An Analysis of Physics-Informed Neural Networks [0.0]
  我々は物理システム – 物理インフォームドニューラルネットワーク – に対する解を近似する新しいアプローチを提案する。 人工ニューラルネットワークの概念を導入し、目的関数を定義し、最適化戦略について議論する。 偏微分方程式は、問題の損失関数の制約として含まれ、ネットワークがモデリングしている物理系の力学の知識にアクセスできる。
  論文  参考訳（メタデータ） (2023-03-06T04:45:53Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Unsupervised Legendre-Galerkin Neural Network for Stiff Partial Differential Equations [9.659504024299896]
  本稿では,Regendre-Galerkinニューラルネットワークに基づく教師なし機械学習アルゴリズムを提案する。 提案したニューラルネットワークは、境界層挙動を有する特異摂動PDEと同様に、一般的な1Dおよび2DPDEに適用される。
  論文  参考訳（メタデータ） (2022-07-21T00:47:47Z)
• Physics-informed ConvNet: Learning Physical Field from a Shallow Neural Network [0.180476943513092]
  マルチ物理システムのモデル化と予測は、避けられないデータ不足とノイズのために依然として課題である。 物理インフォームド・コンボリューション・ネットワーク(PICN)と呼ばれる新しいフレームワークは、CNNの観点から推奨されている。 PICNは物理インフォームド機械学習において、代替のニューラルネットワークソルバとなる可能性がある。
  論文  参考訳（メタデータ） (2022-01-26T14:35:58Z)
• Physics informed neural networks for continuum micromechanics [68.8204255655161]
  近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。 グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。 実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
  論文  参考訳（メタデータ） (2021-10-14T14:05:19Z)
• Partial Differential Equations is All You Need for Generating Neural Architectures -- A Theory for Physical Artificial Intelligence Systems [40.20472268839781]
  我々は、統計物理学における反応拡散方程式、量子力学におけるシュル・オーディンガー方程式、同軸光学におけるヘルムホルツ方程式を一般化する。 数値解を求めるためにNPDEを離散化するために有限差分法を用いる。 多層パーセプトロン、畳み込みニューラルネットワーク、リカレントニューラルネットワークなど、ディープニューラルネットワークアーキテクチャの基本構築ブロックが生成される。
  論文  参考訳（メタデータ） (2021-03-10T00:05:46Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Understanding and mitigating gradient pathologies in physics-informed neural networks [2.1485350418225244]
  この研究は、物理システムの結果を予測し、ノイズの多いデータから隠れた物理を発見するための物理情報ニューラルネットワークの有効性に焦点を当てる。 本稿では,モデル学習中の勾配統計を利用して,複合損失関数の異なる項間の相互作用のバランスをとる学習速度アニーリングアルゴリズムを提案する。 また、そのような勾配に耐性のある新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-01-13T21:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。