論文の概要: Transfer learning for predicting source terms of principal component
transport in chemically reactive flow
- arxiv url: http://arxiv.org/abs/2312.00356v1
- Date: Fri, 1 Dec 2023 05:18:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 15:42:31.080482
- Title: Transfer learning for predicting source terms of principal component
transport in chemically reactive flow
- Title（参考訳）: 化学反応流における主成分輸送源の予測のための伝達学習
- Authors: Ki Sung Jung, Tarek Echekki, Jacqueline H. Chen, Mohammad Khalil
- Abstract要約: 本研究の目的は,様々な移動学習モデルを用いて,必要な学習サンプルの数を削減できるかどうかを評価することである。
次に、スパースデータセットを用いたANNモデルのトレーニングに、3つのトランスファー学習戦略を適用する。
ANNモデルのトレーニングが正規化項によって制限されている場合、スパースデータセットによる縮小順序モデルの性能は著しく向上する。
- 参考スコア（独自算出の注目度）: 0.40964539027092917
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The objective of this study is to evaluate whether the number of requisite
training samples can be reduced with the use of various transfer learning
models for predicting, for example, the chemical source terms of the
data-driven reduced-order model that represents the homogeneous ignition
process of a hydrogen/air mixture. Principal component analysis is applied to
reduce the dimensionality of the hydrogen/air mixture in composition space.
Artificial neural networks (ANNs) are used to tabulate the reaction rates of
principal components, and subsequently, a system of ordinary differential
equations is solved. As the number of training samples decreases at the target
task (i.e.,for T0 > 1000 K and various phi), the reduced-order model fails to
predict the ignition evolution of a hydrogen/air mixture. Three transfer
learning strategies are then applied to the training of the ANN model with a
sparse dataset. The performance of the reduced-order model with a sparse
dataset is found to be remarkably enhanced if the training of the ANN model is
restricted by a regularization term that controls the degree of knowledge
transfer from source to target tasks. To this end, a novel transfer learning
method is introduced, parameter control via partial initialization and
regularization (PaPIR), whereby the amount of knowledge transferred is
systemically adjusted for the initialization and regularization of the ANN
model in the target task. It is found that an additional performance gain can
be achieved by changing the initialization scheme of the ANN model in the
target task when the task similarity between source and target tasks is
relatively low.
- Abstract（参考訳）: 本研究の目的は, 各種伝達学習モデルを用いて, 水素/空気混合物の均一着火過程を表わすデータ駆動還元次モデルの化学源項を予測することにより, 必要なトレーニング試料数を削減することができるかを評価することである。
主成分分析は, 合成空間における水素/空気混合物の寸法を減少させる。
ニューラルネットワーク(ANN)は主成分の反応速度を集計するために用いられ、その後、通常の微分方程式の系が解かれる。
目標タスク(T0 > 1000 K および様々な phi )におけるトレーニングサンプルの数が減少するにつれて、還元次モデルは水素/空気混合物の着火進化を予測するのに失敗する。
次に、スパースデータセットを用いたANNモデルのトレーニングに、3つの転送学習戦略を適用する。
ANNモデルのトレーニングが、ソースからターゲットタスクへの知識伝達の度合いを制御する正規化項によって制限されている場合、スパースデータセットによる縮小順序モデルの性能は著しく向上する。
この目的のために, 部分初期化と正規化(papir)によるパラメータ制御を行い, 対象タスクにおけるannモデルの初期化と正規化のために, 伝達される知識の量を体系的に調整する。
その結果,ソースタスクとターゲットタスクのタスク類似性が比較的低い場合に,ターゲットタスクにおけるANNモデルの初期化スキームを変更することで,さらなるパフォーマンス向上が達成できることがわかった。
関連論文リスト
- Transfer Learning Based Hybrid Quantum Neural Network Model for Surface Anomaly Detection [0.4604003661048266]
本稿では,古典モデルのパラメータ数を著しく削減するために,量子トランスファー学習(QTL)に基づくアプローチを提案する。
性能低下なしに、トレーニング可能なパラメータの総数を初期モデルの90%まで削減できることを示す。
論文 参考訳（メタデータ） (2024-08-30T19:40:52Z) - chemtrain: Learning Deep Potential Models via Automatic Differentiation and Statistical Physics [0.0]
ニューラルネットワーク(NN)は分子動力学の精度を改善するための有望なモデルである。
Chemtrainは、カスタマイズ可能なトレーニングルーチンと高度なトレーニングアルゴリズムを通じて、洗練されたNNポテンシャルモデルを学ぶためのフレームワークである。
論文 参考訳（メタデータ） (2024-08-28T15:14:58Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳（メタデータ） (2023-10-22T23:56:19Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳（メタデータ） (2023-10-04T09:39:05Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳（メタデータ） (2023-10-04T04:26:33Z) - Phasic Content Fusing Diffusion Model with Directional Distribution
Consistency for Few-Shot Model Adaption [73.98706049140098]
本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。
具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。
最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
論文 参考訳（メタデータ） (2023-09-07T14:14:11Z) - Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。
量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
論文 参考訳（メタデータ） (2022-08-11T04:04:03Z) - Churn Reduction via Distillation [54.5952282395487]
本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。
次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
論文 参考訳（メタデータ） (2021-06-04T18:03:31Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳（メタデータ） (2020-10-16T17:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。