論文の概要: A comparative study of transformer models and recurrent neural networks for path-dependent composite materials
- arxiv url: http://arxiv.org/abs/2603.00092v1
- Date: Tue, 17 Feb 2026 09:29:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-09 01:20:08.044387
- Title: A comparative study of transformer models and recurrent neural networks for path-dependent composite materials
- Title（参考訳）: 経路依存型複合材料における変圧器モデルと繰り返しニューラルネットワークの比較研究
- Authors: Petter Uvdal, Mohsen Mirkhalaf,
- Abstract要約: 短繊維強化複合材料(SFRC)の均質化応答列を学習したリカレントニューラルネットワーク(RNN)と変圧器モデルを比較した。
その結果、トランスフォーマーモデルは大きなデータセットの精度で競争力を維持するが、RNNは小さなデータセットの精度を向上することを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Accurate modeling of Short Fiber Reinforced Composites (SFRCs) remains computationally expensive for full-field simulations. Data-driven surrogate models using Artificial Neural Networks (ANNs) have been proposed as an efficient alternative to numerical modeling, where Recurrent Neural Networks (RNNs) are increasingly being used for path-dependent multiscale modeling by predicting the homogenized response of a Representative Volume Element (RVE). However, recently, transformer models have been developed and they offer scalability and efficient parallelization, yet have not been systematically compared with RNNs in this field. In this study, we perform a systematic comparison between RNNs and transformer models trained on sequences of homogenized response of SFRC RVEs. We study the effect on two types of hyperparameters, namely architectural hyperparameters (such as the number of GRU layers, hidden size, number of attention heads, and encoder blocks) and training hyperparameters (such as learning rate and batch size). Both sets of hyperparameters are tuned using Bayesian optimization. We then analyze scaling laws with respect to dataset size and inference accuracy in interpolation and extrapolation regimes. The results show that while transformer models remain competitive in terms of accuracy on large datasets, the RNNs demonstrate better accuracy on small datasets and show better extrapolation performance. Furthermore, under extrapolation, there is a clear difference, where the RNN remains accurate, while the transformer model performs poorly. On the other hand, the transformer model is 7 times faster at inference, requiring 0.5 ms per prediction compared to the 3.5 ms per prediction for the RNN model.
- Abstract（参考訳）: 短繊維強化複合材料(SFRC)の高精度なモデリングは、フルフィールドシミュレーションには計算コストがかかる。
リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は, 代表体積要素(RVE)の均質化応答を予測することにより, 経路依存型マルチスケールモデリングにおいて, より効率的な数値モデリングの代替として, データ駆動サロゲートモデルが提案されている。
しかし、近年、トランスフォーマーモデルが開発され、スケーラビリティと効率的な並列化を提供しているが、この分野ではRNNと体系的に比較されていない。
本研究では,SFRC RVEの均質化応答列に基づいて学習したRNNと変圧器モデルとの系統的比較を行う。
建築用ハイパーパラメータ(GRU層数,隠れサイズ,アテンションヘッド数,エンコーダブロック数など)と,ハイパーパラメータ(学習率やバッチサイズなど)のトレーニングを行う2種類のハイパーパラメータへの影響について検討する。
両方のハイパーパラメータはベイズ最適化を用いて調整される。
次に、補間および補間体制におけるデータセットサイズと推測精度に関するスケーリング法則を解析する。
その結果、トランスフォーマーモデルは大きなデータセットの精度で競争力を維持する一方で、RNNでは小さなデータセットの精度が向上し、外挿性能が向上していることがわかった。
さらに、外挿下では、RNNが正確でありながら、トランスフォーマーモデルは性能が良くない明確な違いがある。
一方, 変圧器モデルの方が推算速度が7倍速く, RNNモデルでは 3.5ms の予測よりも0.5ms の予測が必要であった。
関連論文リスト
- Higher-Order Convolution Improves Neural Predictivity in the Retina [0.7916635054977068]
畳み込みニューラルネットワーク(CNN)に直接高次操作を組み込むニューラルレスポンス予測への新しいアプローチを提案する。
我々のモデルは、畳み込み演算子自体に高次演算を組み込むことで、従来の3次元CNNを拡張します。
自然界に対するサラマンデル網膜神経節細胞 (RGC) 応答と, 制御された幾何学的変換に対するマウスRGC応答の新しいデータセットの2つの異なるデータセットに対するアプローチを評価した。
論文 参考訳（メタデータ） (2025-05-12T14:43:32Z) - PIAD-SRNN: Physics-Informed Adaptive Decomposition in State-Space RNN [1.3654846342364306]
時系列予測は、精度と効率のトレードオフを要求することが多い。
物理インフォームド適応分解状態空間RNNであるPIAD-SRNNを提案する。
屋内空気質データセットにおけるPIAD-SRNNの性能評価を行った。
論文 参考訳（メタデータ） (2024-12-01T22:55:58Z) - Does Transformer Interpretability Transfer to RNNs? [0.6437284704257459]
近年のリカレントニューラルネットワークアーキテクチャの進歩により、RNNは等サイズトランスの性能に適合または超えることが可能になった。
本稿では,RNNの圧縮状態を利用して,これらの手法のいくつかを改善することができることを示す。
論文 参考訳（メタデータ） (2024-04-09T02:59:17Z) - Recurrent neural networks and transfer learning for elasto-plasticity in
woven composites [0.0]
本稿では, 織物のメソスケールシミュレーションの代用として, リカレントニューラルネットワーク(RNN)モデルを提案する。
平均場モデルは、弾塑性挙動を表す包括的データセットを生成する。
シミュレーションでは、任意の6次元ひずみヒストリーを用いて、ランダムウォーキング時の応力を原課題として、循環荷重条件を目標課題として予測する。
論文 参考訳（メタデータ） (2023-11-22T14:47:54Z) - RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。
モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2023-05-22T13:57:41Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。
本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文 参考訳（メタデータ） (2022-08-28T17:50:19Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。