Fugu-MT 論文翻訳(概要): NLP Inspired Training Mechanics For Modeling Transient Dynamics

論文の概要: NLP Inspired Training Mechanics For Modeling Transient Dynamics

arxiv url: http://arxiv.org/abs/2211.02716v1
Date: Fri, 4 Nov 2022 19:06:40 GMT
ステータス: 処理完了
システム内更新日: 2022-11-08 17:48:01.128975
Title: NLP Inspired Training Mechanics For Modeling Transient Dynamics
Title（参考訳）: 過渡力学モデリングのためのnlpインスパイアトレーニング力学
Authors: Lalit Ghule, Rishikesh Ranade, Jay Pathak
Abstract要約: 我々は、過渡的ダイナミクスをシミュレートするためのMLモデルの精度、堅牢性、一般化性を改善するために、そのようなNLPにインスパイアされた手法を使用する。本研究では,FNOやUNetなどのMLモデルの精度を50%以上向上させるとともに,教師の強制力とカリキュラムベーストレーニング機構を導入して,渦流をモデル化する。
参考スコア（独自算出の注目度）: 0.7366405857677226
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In recent years, Machine learning (ML) techniques developed for Natural Language Processing (NLP) have permeated into developing better computer vision algorithms. In this work, we use such NLP-inspired techniques to improve the accuracy, robustness and generalizability of ML models for simulating transient dynamics. We introduce teacher forcing and curriculum learning based training mechanics to model vortical flows and show an enhancement in accuracy for ML models, such as FNO and UNet by more than 50%.
Abstract（参考訳）: 近年、自然言語処理(NLP)のために開発された機械学習(ML)技術が、より良いコンピュータビジョンアルゴリズムの開発に浸透している。本研究では,過渡的力学をシミュレーションするためのMLモデルの精度,堅牢性,一般化性を改善するために,このようなNLPに着想を得た手法を用いる。本研究では,FNOやUNetなどのMLモデルの精度を50%以上向上させるとともに,教師の強制力とカリキュラムベーストレーニング機構を導入して,渦流をモデル化する。

関連論文リスト

Physics-Informed Machine Learning for Smart Additive Manufacturing [2.3091320511105353]
本稿では、ニューラルネットワークと物理法則を統合した物理インフォームド・機械学習(PIML)モデルの開発に焦点をあて、レーザー金属堆積(LMD)におけるケーススタディによるモデル精度、透明性、一般化について述べる。
論文参考訳（メタデータ） (2024-07-15T14:40:24Z)
PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文参考訳（メタデータ） (2023-09-13T17:55:11Z)
Meta-Learning Fast Weight Language Models [105.66999854213724]
我々は、動的評価の利点をより効率的に提供するニューラルネットワークコンポーネントであるFWL(Fast Weight Layers)を提示する。 FWLはトレーニング時に適用でき、モデルが勾配更新をうまく活用することを学ぶ。
論文参考訳（メタデータ） (2022-12-05T18:37:09Z)
Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
論文参考訳（メタデータ） (2022-11-09T23:40:52Z)
METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
論文参考訳（メタデータ） (2022-04-13T21:39:15Z)
Learning continuous models for continuous physics [94.42705784823997]
本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
論文参考訳（メタデータ） (2022-02-17T07:56:46Z)
Enhancing predictive skills in physically-consistent way: Physics Informed Machine Learning for Hydrological Processes [1.0635248457021496]
本研究では,概念的水文モデルのプロセス理解と最先端MLモデルの予測能力を組み合わせた物理インフォームド機械学習(PIML)モデルを開発する。提案したモデルを用いて,インドのナルマダ川流域における目標(流れ流)と中間変数(実際の蒸発吸引)の月次時間系列を予測する。
論文参考訳（メタデータ） (2021-04-22T12:13:42Z)
Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文参考訳（メタデータ） (2020-07-17T01:52:34Z)
Macroscopic Traffic Flow Modeling with Physics Regularized Gaussian Process: Generalized Formulations [5.827236278192557]
本研究では,物理正規化ガウス過程(PRGP)という新しいモデリングフレームワークを提案する。この新しいアプローチは、物理モデル、すなわち古典的なトラフィックフローモデルをガウスのプロセスアーキテクチャにエンコードし、機械学習のトレーニングプロセスを規則化する。提案手法の有効性を証明するため,ユタ州I-15高速道路から収集した実世界のデータセットについて実験的検討を行った。
論文参考訳（メタデータ） (2020-07-14T17:27:23Z)
Macroscopic Traffic Flow Modeling with Physics Regularized Gaussian Process: A New Insight into Machine Learning Applications [14.164058812512371]
本研究では,古典的トラフィックフローモデルを機械学習アーキテクチャにエンコードする,物理正規化機械学習(PRML)という新しいモデリングフレームワークを提案する。提案手法の有効性を実証するため,ユタ州I-15高速道路から収集した実世界のデータセットについて実験的検討を行った。
論文参考訳（メタデータ） (2020-02-06T17:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。