論文の概要: Engineering software 2.0 by interpolating neural networks: unifying training, solving, and calibration
- arxiv url: http://arxiv.org/abs/2404.10296v2
- Date: Mon, 22 Apr 2024 09:21:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 20:37:54.740041
- Title: Engineering software 2.0 by interpolating neural networks: unifying training, solving, and calibration
- Title(参考訳): ニューラルネットワークの補間によるエンジニアリングソフトウェア2.0:トレーニング、問題解決、校正の統合
- Authors: Chanwook Park, Sourav Saha, Jiachen Guo, Xiaoyu Xie, Satyajit Mojumder, Miguel A. Bessa, Dong Qian, Wei Chen, Gregory J. Wagner, Jian Cao, Wing Kam Liu,
- Abstract要約: 補間ニューラルネットワーク(INN)の理論とテンソル分解に基づく新しいネットワークを提案する。
INNは、トレーニング可能なパラメータの少ない、高速なトレーニング、メモリフットプリントの削減、およびフィードフォワードニューラルネットワーク(FFNN)や物理インフォームドニューラルネットワーク(PINN)と比較してモデル精度の向上を特徴としている。
INNは、空間、時間、パラメータ、初期/境界条件のさまざまな領域にまたがる統一ニューラルネットワークであるEngineering Software 2.0の先駆けとなる。
- 参考スコア(独自算出の注目度): 6.5056929946211515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The evolution of artificial intelligence (AI) and neural network theories has revolutionized the way software is programmed, shifting from a hard-coded series of codes to a vast neural network. However, this transition in engineering software has faced challenges such as data scarcity, multi-modality of data, low model accuracy, and slow inference. Here, we propose a new network based on interpolation theories and tensor decomposition, the interpolating neural network (INN). Instead of interpolating training data, a common notion in computer science, INN interpolates interpolation points in the physical space whose coordinates and values are trainable. It can also extrapolate if the interpolation points reside outside of the range of training data and the interpolation functions have a larger support domain. INN features orders of magnitude fewer trainable parameters, faster training, a smaller memory footprint, and higher model accuracy compared to feed-forward neural networks (FFNN) or physics-informed neural networks (PINN). INN is poised to usher in Engineering Software 2.0, a unified neural network that spans various domains of space, time, parameters, and initial/boundary conditions. This has previously been computationally prohibitive due to the exponentially growing number of trainable parameters, easily exceeding the parameter size of ChatGPT, which is over 1 trillion. INN addresses this challenge by leveraging tensor decomposition and tensor product, with adaptable network architecture.
- Abstract(参考訳): 人工知能(AI)とニューラルネットワーク理論の進化は、ソフトウェアプログラムの方法に革命をもたらし、ハードコードされた一連のコードから巨大なニューラルネットワークへと移行した。
しかし、このエンジニアリングソフトウェアの移行は、データの不足、データの多要素性、モデルの精度の低下、推論の遅いといった問題に直面している。
本稿では、補間理論とテンソル分解に基づく新しいネットワーク、補間ニューラルネットワーク(INN)を提案する。
コンピュータ科学における一般的な概念であるトレーニングデータを補間する代わりに、INNは座標と値が訓練可能な物理空間の補間点を補間する。
また、補間点がトレーニングデータの範囲外にある場合、補間関数がより大きなサポートドメインを持つ場合、外挿することもできる。
INNは、トレーニング可能なパラメータを桁違いに少なくし、高速なトレーニング、メモリフットプリントを小さくし、フィードフォワードニューラルネットワーク(FFNN)や物理インフォームドニューラルネットワーク(PINN)と比較してモデル精度を高くする。
INNは、空間、時間、パラメータ、初期/境界条件のさまざまな領域にまたがる統一ニューラルネットワークであるEngineering Software 2.0の先駆けとなる。
これは以前、指数関数的にトレーニング可能なパラメータの数が増加し、1兆を超えるChatGPTのパラメータサイズを超えたため、計算的に禁じられていた。
INNは、テンソル分解とテンソル積を適応可能なネットワークアーキテクチャで活用することで、この問題に対処する。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - Variational Tensor Neural Networks for Deep Learning [0.0]
ディープニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。
これによりスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現され、多数のニューロンやレイヤに対して効率的にトレーニングすることができる。
我々のトレーニングアルゴリズムは、テンソル化トレーニング可能な重みの絡み合い構造に関する洞察を提供し、量子神経状態としての表現力を明らかにする。
論文 参考訳(メタデータ) (2022-11-26T20:24:36Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - HyBNN and FedHyBNN: (Federated) Hybrid Binary Neural Networks [0.0]
新しいハイブリッドニューラルネットワークアーキテクチャHybrid Binary Neural Network (Hybrid Binary Neural Network, HyBNN)を導入する。
HyBNNは、タスク非依存、一般、完全精度の変動型オートエンコーダと、タスク固有のバイナリニューラルネットワークで構成されている。
提案システムは,入力バイナライゼーションにより,バニラバイナリニューラルネットワークを著しく上回る性能を有することを示す。
論文 参考訳(メタデータ) (2022-05-19T20:27:01Z) - A Spiking Neural Network based on Neural Manifold for Augmenting
Intracortical Brain-Computer Interface Data [5.039813366558306]
脳-コンピュータインターフェース(BCI)は、脳内の神経信号をインストラクションに変換して外部デバイスを制御する。
高度な機械学習手法の出現により、脳-コンピュータインタフェースの能力はかつてないほど強化された。
ここでは、データジェネレータとしてスパイキングニューラルネットワーク(SNN)を用いる。
論文 参考訳(メタデータ) (2022-03-26T15:32:31Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded
Systems [0.0]
畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。
本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
論文 参考訳(メタデータ) (2021-12-01T18:20:52Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳(メタデータ) (2021-07-19T23:41:03Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳(メタデータ) (2020-12-31T18:48:58Z) - Skip-Connected Self-Recurrent Spiking Neural Networks with Joint
Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。
ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
論文 参考訳(メタデータ) (2020-10-23T22:27:13Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。