論文の概要: Bringing Chemistry to Scale: Loss Weight Adjustment for Multivariate Regression in Deep Learning of Thermochemical Processes

• arxiv url: http://arxiv.org/abs/2308.01954v1
• Date: Thu, 3 Aug 2023 13:00:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-07 15:04:26.685011
• Title: Bringing Chemistry to Scale: Loss Weight Adjustment for Multivariate Regression in Deep Learning of Thermochemical Processes
• Title（参考訳）: 化学のスケール化:熱化学プロセスの深層学習における多変量回帰の損失重み調整
• Authors: Franz M. Rohrhofer, Stefan Posch, Clemens G\"o{\ss}nitzer, Jos\'e M. Garc\'ia-Oliver, Bernhard C. Geiger
• Abstract要約: フラムレットモデルは乱流燃焼の熱化学過程をシミュレートするために計算流体力学で広く用いられている。 これらのモデルは典型的には、模擬される燃焼過程を表す所定のメモリ拡張ルックアップテーブルを使用する。 本稿では, 水素 (ceH2) 燃焼ルックアップテーブルの多種質量分画を学習する際のANNの精度向上を図る。
• 参考スコア（独自算出の注目度）: 5.381050729919025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flamelet models are widely used in computational fluid dynamics to simulate thermochemical processes in turbulent combustion. These models typically employ memory-expensive lookup tables that are predetermined and represent the combustion process to be simulated. Artificial neural networks (ANNs) offer a deep learning approach that can store this tabular data using a small number of network weights, potentially reducing the memory demands of complex simulations by orders of magnitude. However, ANNs with standard training losses often struggle with underrepresented targets in multivariate regression tasks, e.g., when learning minor species mass fractions as part of lookup tables. This paper seeks to improve the accuracy of an ANN when learning multiple species mass fractions of a hydrogen (\ce{H2}) combustion lookup table. We assess a simple, yet effective loss weight adjustment that outperforms the standard mean-squared error optimization and enables accurate learning of all species mass fractions, even of minor species where the standard optimization completely fails. Furthermore, we find that the loss weight adjustment leads to more balanced gradients in the network training, which explains its effectiveness.
• Abstract（参考訳）: フラムレットモデルは乱流燃焼の熱化学過程をシミュレートするために計算流体力学で広く用いられている。 これらのモデルは、通常、シミュレーションされる燃焼過程を表す所定のメモリ拡張ルックアップテーブルを使用する。 ニューラルネットワーク(anns)は、この表的なデータを少数のネットワーク重みを使って保存するディープラーニングアプローチを提供し、複雑なシミュレーションのメモリ要求を桁違いに削減する可能性がある。 しかし、標準的な訓練損失を持つANNは、例えば、ルックアップテーブルの一部として小種質量分画を学習する際に、多変量回帰タスクにおいて、未表現の目標に悩まされることが多い。 本稿では, 水素 (\ce{H2}) 燃焼ルックアップテーブルの複数種の質量分画を学習する際のANNの精度向上を図る。 標準平均二乗誤差最適化を上回り、標準最適化が完全に失敗する小種であっても全ての種群分率を正確に学習できる、単純かつ効果的な損失重み調整を評価する。 さらに,損失重み調整はネットワークトレーニングにおいてよりバランスのとれた勾配をもたらし,その効果を説明する。

関連論文リスト

• chemtrain: Learning Deep Potential Models via Automatic Differentiation and Statistical Physics [0.0]
  ニューラルネットワーク(NN)は分子動力学の精度を改善するための有望なモデルである。 Chemtrainは、カスタマイズ可能なトレーニングルーチンと高度なトレーニングアルゴリズムを通じて、洗練されたNNポテンシャルモデルを学ぶためのフレームワークである。
  論文  参考訳（メタデータ） (2024-08-28T15:14:58Z)
• Temperature Balancing, Layer-wise Weight Analysis, and Neural Network Training [58.20089993899729]
  本稿では,直感的で効果的な階層学習手法であるTempBalanceを提案する。 我々は、TempBalanceが通常のSGDと注意深く調整されたスペクトルノルム正規化より著しく優れていることを示す。 また、TempBalanceは最先端のメトリクスやスケジューラよりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T05:38:17Z)
• Using a neural network approach to accelerate disequilibrium chemistry calculations in exoplanet atmospheres [0.0]
  本研究では,1次元化学動力学符号の数学的枠組みを置き換えるニューラルネットワークの実装に着目する。 ネットワークのアーキテクチャは、各入力変数に対する個々のオートエンコーダで構成され、入力次元を減少させる。 その結果, 混合比, 恒星スペクトル, 圧力プロファイルのオートエンコーダは, データの符号化および復号化に極めて成功していることがわかった。
  論文  参考訳（メタデータ） (2023-06-12T12:39:21Z)
• Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
  完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。 LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。 我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
  論文  参考訳（メタデータ） (2023-05-01T23:20:27Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
  マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。 本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
  論文  参考訳（メタデータ） (2022-09-05T16:48:34Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Accelerating Part-Scale Simulation in Liquid Metal Jet Additive Manufacturing via Operator Learning [0.0]
  部分スケールの予測は多くの小規模シミュレーションを必要とする。 LMJにおける液滴の合体性を記述するモデルとして, 混合圧縮性流体流, 熱伝達, 相変化方程式がある。 我々は,液滴の合体過程の初期状態と最終状態のマッピングを演算子学習アプローチで学習する。
  論文  参考訳（メタデータ） (2022-02-02T17:24:16Z)
• Balanced Softmax Cross-Entropy for Incremental Learning [6.5423218639215275]
  ディープニューラルネットワークは、新しいクラスや新しいタスクで段階的に訓練されると壊滅的な忘れがちです。 近年の手法は破滅的な忘れを緩和するのに有効であることが証明されている。 本稿では,バランスの取れたソフトマックスクロスエントロピー損失の利用を提案し,それとインクリメンタル学習のための離脱法を組み合わせることで,パフォーマンスを向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T13:30:26Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。