論文の概要: Engineering software 2.0 by Interpolating Neural Networks: Unifying Training, Solving, and Calibration
- arxiv url: http://arxiv.org/abs/2404.10296v3
- Date: Wed, 11 Sep 2024 17:08:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 21:17:34.464140
- Title: Engineering software 2.0 by Interpolating Neural Networks: Unifying Training, Solving, and Calibration
- Title（参考訳）: ニューラルネットワークを補間するエンジニアリングソフトウェア2.0:トレーニング、解決、校正の統合
- Authors: Chanwook Park, Sourav Saha, Jiachen Guo, Hantao Zhang, Xiaoyu Xie, Miguel A. Bessa, Dong Qian, Wei Chen, Gregory J. Wagner, Jian Cao, Wing Kam Liu,
- Abstract要約: 補間ニューラルネットワーク(INN)の理論とテンソル分解に基づく新しいネットワークを提案する。
INNは、座標と値が訓練可能な物理空間の格子点を補間する。
INNは、トレーニング可能なパラメータ(あるいは問題解決の自由度)を桁違いに少なくし、トレーニング/解決の高速化、推論コストの低減、メモリフットプリントの削減、マルチ層パーセプトロン(MLP)や物理インフォームドニューラルネットワーク(PINN)と比較してモデル精度の向上を実現している。
- 参考スコア（独自算出の注目度）: 6.778453409974683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The evolution of artificial intelligence (AI) and neural network theories has revolutionized the way software is programmed, shifting from a hard-coded series of codes, Software 1.0, to a vast neural network, Software 2.0. However, this transition in engineering software has faced challenges such as data scarcity, multi-modality of data, low model accuracy, and slow inference. Here, we propose a new network based on interpolation theories and tensor decomposition, the interpolating neural network (INN) to open the new era of Engineering Software 2.0 that unifies training, solving, and calibration. Instead of interpolating training data, a common notion in computer science, INN interpolates grid points in the physical space whose coordinates and values are trainable. INN features orders of magnitude fewer trainable parameters (or degrees of freedom for solving), faster training/solving, less inference cost, smaller memory footprint, and higher model accuracy compared to multi-layer perceptron (MLP) or physics-informed neural networks (PINN). Various numerical experiments that cover computer science and engineering domains demonstrate that INN can solve over Zetta scale (10^{21}) partial differential equations and train/calibrate a dataset with extraordinary accuracy but fewer parameters using only a single graphics processing unit (GPU).
- Abstract（参考訳）: 人工知能(AI)とニューラルネットワーク理論の進化は、ソフトウェアプログラムの方法に革命をもたらし、ハードコードされた一連のコードであるSoftware 1.0から巨大なニューラルネットワークであるSoftware 2.0へと移行した。
しかし、このエンジニアリングソフトウェアの移行は、データの不足、データの多要素性、モデルの精度の低下、推論の遅いといった問題に直面している。
本稿では、補間理論とテンソル分解に基づく新しいネットワーク、補間ニューラルネットワーク(INN)を提案し、トレーニング、解決、校正を統一するEngineering Software 2.0の新しい時代を開く。
コンピュータ科学における一般的な概念であるトレーニングデータを補間する代わりに、INNは座標と値が訓練可能な物理空間の格子点を補間する。
INNは、トレーニング可能なパラメータ(あるいは問題解決の自由度)を桁違いに少なくし、トレーニング/解決の高速化、推論コストの低減、メモリフットプリントの削減、マルチ層パーセプトロン(MLP)や物理インフォームドニューラルネットワーク(PINN)と比較してモデル精度の向上を実現している。
計算機科学と工学領域をカバーする様々な数値実験により、INNはゼッタスケール(10^{21})の偏微分方程式を解くことができ、異常な精度でデータセットを訓練/校正できるが、1つのグラフィックス処理ユニット(GPU)だけでパラメータを減らした。
関連論文リスト
- Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。
ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。
本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
論文 参考訳（メタデータ） (2024-11-07T14:08:35Z) - A Realistic Simulation Framework for Analog/Digital Neuromorphic Architectures [73.65190161312555]
ARCANAは、混合信号ニューロモルフィック回路の特性を考慮に入れたスパイクニューラルネットワークシミュレータである。
その結果,ソフトウェアでトレーニングしたスパイクニューラルネットワークの挙動を,信頼性の高い推定結果として提示した。
論文 参考訳（メタデータ） (2024-09-23T11:16:46Z) - Liquid Fourier Latent Dynamics Networks for fast GPU-based numerical simulations in computational cardiology [0.0]
複素測地上での高次非線形微分方程式の多スケールおよび多物理集合に対するパラメータ化時空間サロゲートモデルを作成するために、Latent Dynamics Networks(LDNets)の拡張を提案する。
LFLDNetは、時間的ダイナミクスのために神経学的にインスパイアされたスパースな液体ニューラルネットワークを使用し、時間進行のための数値ソルバの要求を緩和し、パラメータ、精度、効率、学習軌道の点で優れたパフォーマンスをもたらす。
論文 参考訳（メタデータ） (2024-08-19T09:14:25Z) - Physics-informed MeshGraphNets (PI-MGNs): Neural finite element solvers
for non-stationary and nonlinear simulations on arbitrary meshes [13.41003911618347]
PI-MGNは、PINNとMGNを組み合わせて任意のメッシュ上の非定常および非線形偏微分方程式(PDE)を解くハイブリッドアプローチである。
結果は、モデルが大規模で複雑なメッシュにうまくスケールしていることを示しているが、小さなジェネリックメッシュでのみトレーニングされている。
論文 参考訳（メタデータ） (2024-02-16T13:34:51Z) - NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with
Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。
元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。
本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文 参考訳（メタデータ） (2023-02-20T19:36:52Z) - Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。
この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
論文 参考訳（メタデータ） (2022-12-29T15:10:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - DLDNN: Deterministic Lateral Displacement Design Automation by Neural
Networks [1.8365768330479992]
本稿では、決定論的側方変位(DLD)問題に対処する高速多目的設計自動化プラットフォームについて検討する。
畳み込みニューラルネットワークと人工ニューラルネットワークを用いて、様々なDLD構成の速度場と臨界径を学習した。
開発ツールは12の臨界条件でテストされ、4%未満の誤差で確実に実行された。
論文 参考訳（メタデータ） (2022-08-30T14:38:17Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z) - A Dual-Dimer Method for Training Physics-Constrained Neural Networks
with Minimax Architecture [6.245537312562826]
ミニマックス探索アルゴリズム(PCNN-MM)による物理制約ニューラルネットワーク(PCNN)の訓練
DualDimerと呼ばれる新しいサドルポイントアルゴリズムは、ニューラルネットワークデータの高次サドルポイントを探索するために使用される。
PCNN-MMの収束重みは従来のPCNNよりも高速である。
論文 参考訳（メタデータ） (2020-05-01T21:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。