論文の概要: Engineering software 2.0 by Interpolating Neural Networks: Unifying Training, Solving, and Calibration
- arxiv url: http://arxiv.org/abs/2404.10296v3
- Date: Wed, 11 Sep 2024 17:08:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 21:17:34.464140
- Title: Engineering software 2.0 by Interpolating Neural Networks: Unifying Training, Solving, and Calibration
- Title(参考訳): ニューラルネットワークを補間するエンジニアリングソフトウェア2.0:トレーニング、解決、校正の統合
- Authors: Chanwook Park, Sourav Saha, Jiachen Guo, Hantao Zhang, Xiaoyu Xie, Miguel A. Bessa, Dong Qian, Wei Chen, Gregory J. Wagner, Jian Cao, Wing Kam Liu,
- Abstract要約: 補間ニューラルネットワーク(INN)の理論とテンソル分解に基づく新しいネットワークを提案する。
INNは、座標と値が訓練可能な物理空間の格子点を補間する。
INNは、トレーニング可能なパラメータ(あるいは問題解決の自由度)を桁違いに少なくし、トレーニング/解決の高速化、推論コストの低減、メモリフットプリントの削減、マルチ層パーセプトロン(MLP)や物理インフォームドニューラルネットワーク(PINN)と比較してモデル精度の向上を実現している。
- 参考スコア(独自算出の注目度): 6.778453409974683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The evolution of artificial intelligence (AI) and neural network theories has revolutionized the way software is programmed, shifting from a hard-coded series of codes, Software 1.0, to a vast neural network, Software 2.0. However, this transition in engineering software has faced challenges such as data scarcity, multi-modality of data, low model accuracy, and slow inference. Here, we propose a new network based on interpolation theories and tensor decomposition, the interpolating neural network (INN) to open the new era of Engineering Software 2.0 that unifies training, solving, and calibration. Instead of interpolating training data, a common notion in computer science, INN interpolates grid points in the physical space whose coordinates and values are trainable. INN features orders of magnitude fewer trainable parameters (or degrees of freedom for solving), faster training/solving, less inference cost, smaller memory footprint, and higher model accuracy compared to multi-layer perceptron (MLP) or physics-informed neural networks (PINN). Various numerical experiments that cover computer science and engineering domains demonstrate that INN can solve over Zetta scale (10^{21}) partial differential equations and train/calibrate a dataset with extraordinary accuracy but fewer parameters using only a single graphics processing unit (GPU).
- Abstract(参考訳): 人工知能(AI)とニューラルネットワーク理論の進化は、ソフトウェアプログラムの方法に革命をもたらし、ハードコードされた一連のコードであるSoftware 1.0から巨大なニューラルネットワークであるSoftware 2.0へと移行した。
しかし、このエンジニアリングソフトウェアの移行は、データの不足、データの多要素性、モデルの精度の低下、推論の遅いといった問題に直面している。
本稿では、補間理論とテンソル分解に基づく新しいネットワーク、補間ニューラルネットワーク(INN)を提案し、トレーニング、解決、校正を統一するEngineering Software 2.0の新しい時代を開く。
コンピュータ科学における一般的な概念であるトレーニングデータを補間する代わりに、INNは座標と値が訓練可能な物理空間の格子点を補間する。
INNは、トレーニング可能なパラメータ(あるいは問題解決の自由度)を桁違いに少なくし、トレーニング/解決の高速化、推論コストの低減、メモリフットプリントの削減、マルチ層パーセプトロン(MLP)や物理インフォームドニューラルネットワーク(PINN)と比較してモデル精度の向上を実現している。
計算機科学と工学領域をカバーする様々な数値実験により、INNはゼッタスケール(10^{21})の偏微分方程式を解くことができ、異常な精度でデータセットを訓練/校正できるが、1つのグラフィックス処理ユニット(GPU)だけでパラメータを減らした。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - Variational Tensor Neural Networks for Deep Learning [0.0]
ディープニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。
これによりスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現され、多数のニューロンやレイヤに対して効率的にトレーニングすることができる。
我々のトレーニングアルゴリズムは、テンソル化トレーニング可能な重みの絡み合い構造に関する洞察を提供し、量子神経状態としての表現力を明らかにする。
論文 参考訳(メタデータ) (2022-11-26T20:24:36Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - HyBNN and FedHyBNN: (Federated) Hybrid Binary Neural Networks [0.0]
新しいハイブリッドニューラルネットワークアーキテクチャHybrid Binary Neural Network (Hybrid Binary Neural Network, HyBNN)を導入する。
HyBNNは、タスク非依存、一般、完全精度の変動型オートエンコーダと、タスク固有のバイナリニューラルネットワークで構成されている。
提案システムは,入力バイナライゼーションにより,バニラバイナリニューラルネットワークを著しく上回る性能を有することを示す。
論文 参考訳(メタデータ) (2022-05-19T20:27:01Z) - A Spiking Neural Network based on Neural Manifold for Augmenting
Intracortical Brain-Computer Interface Data [5.039813366558306]
脳-コンピュータインターフェース(BCI)は、脳内の神経信号をインストラクションに変換して外部デバイスを制御する。
高度な機械学習手法の出現により、脳-コンピュータインタフェースの能力はかつてないほど強化された。
ここでは、データジェネレータとしてスパイキングニューラルネットワーク(SNN)を用いる。
論文 参考訳(メタデータ) (2022-03-26T15:32:31Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded
Systems [0.0]
畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。
本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
論文 参考訳(メタデータ) (2021-12-01T18:20:52Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳(メタデータ) (2021-07-19T23:41:03Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳(メタデータ) (2020-12-31T18:48:58Z) - Skip-Connected Self-Recurrent Spiking Neural Networks with Joint
Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。
ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
論文 参考訳(メタデータ) (2020-10-23T22:27:13Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。