論文の概要: Constructing artificial life and materials scientists with accelerated AI using Deep AndersoNN
- arxiv url: http://arxiv.org/abs/2407.19724v1
- Date: Mon, 29 Jul 2024 06:12:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 14:56:26.221247
- Title: Constructing artificial life and materials scientists with accelerated AI using Deep AndersoNN
- Title（参考訳）: Deep AndersoNNを用いたAIによる人工生命と材料科学者の構築
- Authors: Saleem Abdul Fattah Ahmed Al Dajani, David Keyes,
- Abstract要約: Deep AndersoNNは、ニューラルネットワーク内の明示的なレイヤ数が無限に近づくにつれて、継続限界を活用することで、AIを加速する。
Deep AndersoNNは、トレーニングと推論において、最大で1桁のスピードアップを達成することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep AndersoNN accelerates AI by exploiting the continuum limit as the number of explicit layers in a neural network approaches infinity and can be taken as a single implicit layer, known as a deep equilibrium model. Solving for deep equilibrium model parameters reduces to a nonlinear fixed point iteration problem, enabling the use of vector-to-vector iterative solvers and windowing techniques, such as Anderson extrapolation, for accelerating convergence to the fixed point deep equilibrium. Here we show that Deep AndersoNN achieves up to an order of magnitude of speed-up in training and inference. The method is demonstrated on density functional theory results for industrial applications by constructing artificial life and materials `scientists' capable of classifying drugs as strongly or weakly polar, metal-organic frameworks by pore size, and crystalline materials as metals, semiconductors, and insulators, using graph images of node-neighbor representations transformed from atom-bond networks. Results exhibit accuracy up to 98\% and showcase synergy between Deep AndersoNN and machine learning capabilities of modern computing architectures, such as GPUs, for accelerated computational life and materials science by quickly identifying structure-property relationships. This paves the way for saving up to 90\% of compute required for AI, reducing its carbon footprint by up to 60 gigatons per year by 2030, and scaling above memory limits of explicit neural networks in life and materials science, and beyond.
- Abstract（参考訳）: Deep AndersoNNは、ニューラルネットワーク内の明示的なレイヤ数が無限に近づき、ディープ均衡モデルとして知られる単一の暗黙的なレイヤとして捉えることができるため、継続限界を活用することで、AIを加速する。
深い平衡モデルパラメータの解法は、非線形な固定点反復問題に還元され、ベクトル-ベクトル反復解法とアンダーソン補間のようなウィンドウ化技術を用いることで、固定点の深い平衡への収束を加速することができる。
ここでは、Deep AndersoNNがトレーニングおよび推論において最大で1桁のスピードアップを達成することを示す。
本手法は, 金属, 半導体, 絶縁体などの結晶材料を金属, 半導体, 絶縁体として, 原子結合ネットワークから変換されたノード近傍の表現のグラフ画像を用いて, 医薬品を強極性あるいは弱極性に分類できる「科学者」と, 医薬品を細孔径で分類し, 工業応用のための密度汎関数論の結果を示す。
結果は、Deep AndersoNNとGPUのような現代のコンピューティングアーキテクチャの機械学習機能との相乗効果を示し、構造とプロパティの関係を素早く特定することで、計算寿命と材料科学を加速させる。
これにより、AIに必要な計算量の最大90%を節約し、2030年までにカーボンフットプリントを最大60ギガトン削減し、ライフサイエンスやマテリアルサイエンスなどにおける明示的なニューラルネットワークのメモリ限界を超えてスケールアップすることが可能になる。
関連論文リスト
- Metamizer: a versatile neural optimizer for fast and accurate physics simulations [4.717325308876749]
本稿では,広範囲の物理システムを高精度で反復的に解く,新しいニューラルネットワークであるMetamizerを紹介する。
我々は,メタマイザがディープラーニングに基づくアプローチにおいて,前例のない精度で達成できることを実証した。
以上の結果から,メタミザーは将来の数値解法に大きな影響を与える可能性が示唆された。
論文 参考訳（メタデータ） (2024-10-10T11:54:31Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳（メタデータ） (2023-07-27T06:59:46Z) - NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with
Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。
元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。
本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文 参考訳（メタデータ） (2023-02-20T19:36:52Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - GrADE: A graph based data-driven solver for time-dependent nonlinear
partial differential equations [0.0]
本稿では,時間依存非線形PDEを解くためのグラフ注意微分方程式(GrADE)を提案する。
提案するアプローチは、FNN、グラフニューラルネットワークと、最近開発されたNeural ODEフレームワークを結合する。
その結果、PDEのモデリングにおける提案フレームワークの能力と、再トレーニングを必要とせず、より大きなドメインへの拡張性を示した。
論文 参考訳（メタデータ） (2021-08-24T10:49:03Z) - Rotation Invariant Graph Neural Networks using Spin Convolutions [28.4962005849904]
機械学習アプローチは、密度汎関数理論(DFT)を計算的に効率的に近似する可能性がある。
グラフニューラルネットワークにおいて,隣り合う原子の集合間の角度情報をモデル化するための新しい手法を提案する。
結果は大規模なOpen Catalyst 2020データセットで実証されている。
論文 参考訳（メタデータ） (2021-06-17T14:59:34Z) - Solving the electronic Schr\"odinger equation for multiple nuclear
geometries with weight-sharing deep neural networks [4.1201966507589995]
本稿では,異なる分子ジオメトリに対するニューラルネットワークモデル最適化において,重み共有制約を導入する。
この手法は、同じ分子の核ジオメトリの集合を等級で考えることで最適化を加速することができる。
論文 参考訳（メタデータ） (2021-05-18T08:23:09Z) - ForceNet: A Graph Neural Network for Large-Scale Quantum Calculations [86.41674945012369]
スケーラブルで表現力のあるグラフニューラルネットワークモデルであるForceNetを開発し、原子力を近似します。
提案したForceNetは、最先端の物理ベースのGNNよりも正確に原子力を予測することができる。
論文 参考訳（メタデータ） (2021-03-02T03:09:06Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳（メタデータ） (2020-06-15T08:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。