論文の概要: Sobolev neural network with residual weighting as a surrogate in linear and non-linear mechanics

• arxiv url: http://arxiv.org/abs/2407.16466v1
• Date: Tue, 23 Jul 2024 13:28:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 17:16:18.435528
• Title: Sobolev neural network with residual weighting as a surrogate in linear and non-linear mechanics
• Title（参考訳）: 線形および非線形力学におけるサロゲートとしての残留重み付きソボレフニューラルネットワーク
• Authors: A. O. M. Kilicsoy, J. Liedmann, M. A. Valdebenito, F. -J. Barthold, M. G. R. Faes,
• Abstract要約: 本稿では、感度情報を含むトレーニングプロセスの改善について検討する。 計算力学では、トレーニング損失関数を拡張することにより、ニューラルネットワークに感性を適用することができる。 この改善は、線形および非線形な材料挙動の2つの例で示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Areas of computational mechanics such as uncertainty quantification and optimization usually involve repeated evaluation of numerical models that represent the behavior of engineering systems. In the case of complex nonlinear systems however, these models tend to be expensive to evaluate, making surrogate models quite valuable. Artificial neural networks approximate systems very well by taking advantage of the inherent information of its given training data. In this context, this paper investigates the improvement of the training process by including sensitivity information, which are partial derivatives w.r.t. inputs, as outlined by Sobolev training. In computational mechanics, sensitivities can be applied to neural networks by expanding the training loss function with additional loss terms, thereby improving training convergence resulting in lower generalisation error. This improvement is shown in two examples of linear and non-linear material behavior. More specifically, the Sobolev designed loss function is expanded with residual weights adjusting the effect of each loss on the training step. Residual weighting is the given scaling to the different training data, which in this case are response and sensitivities. These residual weights are optimized by an adaptive scheme, whereby varying objective functions are explored, with some showing improvements in accuracy and precision of the general training convergence.
• Abstract（参考訳）: 不確かさの定量化や最適化のような計算力学の領域は、通常、工学系の振る舞いを表す数値モデルの繰り返し評価を含む。 しかし、複雑な非線形系の場合、これらのモデルは評価に費用がかかる傾向にあり、サロゲートモデルは非常に貴重である。 人工ニューラルネットワークは、与えられたトレーニングデータ固有の情報を活用することで、非常によく近似する。 本稿では,ソボレフトレーニングで概説された部分微分Wr.t.入力である感度情報を含む学習プロセスの改善について検討する。 計算力学において、学習損失関数を追加の損失項で拡張することにより、ニューラルネットワークに感性を適用することができ、これにより、一般化誤差の低減につながる訓練収束を改善することができる。 この改善は、線形および非線形な材料挙動の2つの例で示される。 より具体的には、ソボレフの設計した損失関数は、トレーニングステップにおける各損失の影響を調整した残留重量で拡張される。 残留重み付け(Residual weighting)とは、異なるトレーニングデータへのスケーリングである。 これらの余剰重量は適応的なスキームによって最適化され、様々な目的関数が探索され、一般的な訓練収束の精度と精度が向上することを示すものもある。

関連論文リスト

• Koopman-based Deep Learning for Nonlinear System Estimation [1.3791394805787949]
  我々は、クープマン作用素理論を用いて複素非線形系の有限次元表現を抽出する新しいデータ駆動線形推定器を提案する。 抽出したモデルは、元の非線形システムの将来の状態を予測するための最適なステップワイズ動作を学習する深層強化学習ネットワークと共に使用される。
  論文  参考訳（メタデータ） (2024-05-01T16:49:54Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Data-Centric Machine Learning in Quantum Information Science [0.0]
  特に、トレーニングセットのシステマティックエンジニアリングが、事前学習されたニューラルネットワークの精度を大幅に向上させる方法について考察する。 目標シナリオの予測分布と正確に一致するようにトレーニングセットを設計することが必ずしも最適ではないことを示し、その代わりに、トレーニングセットを目標よりもわずかに混合することにより、パフォーマンスをさらに向上できることを示した。
  論文  参考訳（メタデータ） (2022-01-22T21:36:54Z)
• Improving Deep Learning Interpretability by Saliency Guided Training [36.782919916001624]
  精度法はモデル予測において重要な入力特徴を強調するために広く用いられている。 既存の方法の多くは、修正された勾配関数のバックプロパゲーションを使用して、サリエンシマップを生成する。 本稿では,予測に使用する雑音勾配を低減するために,ニューラルネットワークに対するサリエンシ指導訓練手法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T06:05:23Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• DynNet: Physics-based neural architecture design for linear and nonlinear structural response modeling and prediction [2.572404739180802]
  本研究では,線形および非線形な多自由度系の力学を学習できる物理に基づくリカレントニューラルネットワークモデルを提案する。 このモデルは、変位、速度、加速度、内部力を含む完全な応答のセットを推定することができる。
  論文  参考訳（メタデータ） (2020-07-03T17:05:35Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。