論文の概要: Large language models, physics-based modeling, experimental measurements: the trinity of data-scarce learning of polymer properties

• arxiv url: http://arxiv.org/abs/2407.02770v1
• Date: Wed, 3 Jul 2024 02:57:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 15:44:50.214436
• Title: Large language models, physics-based modeling, experimental measurements: the trinity of data-scarce learning of polymer properties
• Title（参考訳）: 大規模言語モデル,物理に基づくモデリング,実験計測--高分子物性のデータ・スカース学習のトリニティ
• Authors: Ning Liu, Siavash Jafarzadeh, Brian Y. Lattimer, Shuna Ni, Jim Lua, Yue Yu,
• Abstract要約: 大規模言語モデル(LLM)は、評価、分析、設計のための高速で正確な物質モデリングパラダイムとして約束される。 データ不足の病理に対処する物理ベースのトレーニングパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 10.955525128731654
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) bear promise as a fast and accurate material modeling paradigm for evaluation, analysis, and design. Their vast number of trainable parameters necessitates a wealth of data to achieve accuracy and mitigate overfitting. However, experimental measurements are often limited and costly to obtain in sufficient quantities for finetuning. To this end, we present a physics-based training pipeline that tackles the pathology of data scarcity. The core enabler is a physics-based modeling framework that generates a multitude of synthetic data to align the LLM to a physically consistent initial state before finetuning. Our framework features a two-phase training strategy: (1) utilizing the large-in-amount while less accurate synthetic data for supervised pretraining, and (2) finetuning the phase-1 model with limited experimental data. We empirically demonstrate that supervised pretraining is vital to obtaining accurate finetuned LLMs, via the lens of learning polymer flammability metrics where cone calorimeter data is sparse.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、評価、分析、設計のための高速で正確な物質モデリングパラダイムとして約束される。 その膨大な数のトレーニング可能なパラメータは、正確性を達成し、過度な適合を緩和するために、豊富なデータを必要とする。 しかし、実験的な測定はしばしば、微調整に十分な量のものを得るために制限されコストがかかる。 この目的のために,データ不足の病理に対処する物理ベースのトレーニングパイプラインを提案する。 コアイネーブラーは物理に基づくモデリングフレームワークであり、微調整前にLLMを物理的に一貫した初期状態に整合させるために、多数の合成データを生成する。 筆者らのフレームワークは,(1)大規模で精度の低い合成データを教師付きプレトレーニングに活用し,(2)限られた実験データでフェーズ1モデルを微調整する,という2段階の訓練戦略を特徴としている。 コーンカロリーデータが少ないポリマー可燃性測定値の学習レンズを用いて, 精密微調整LDMを得るためには, 教師付きプレトレーニングが不可欠であることを実証的に実証した。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Physics Informed Machine Learning (PIML) methods for estimating the remaining useful lifetime (RUL) of aircraft engines [0.0]
  本研究の目的は、新たに開発された物理情報機械学習(PIML)を用いて、残りの実用寿命(RUL)航空機エンジンの予測モデルを開発することである。 本稿では,NASAのC-MAPSS(Commercial Modular Aero-Propulsion System Simulation System)データについて概説する。 C-MAPSSは、古典的および深層学習手法でRUL予測に対処する、文献における多くの既存の研究を含む、よく研究されたデータセットである。
  論文  参考訳（メタデータ） (2024-06-21T19:55:34Z)
• Physics-Informed Machine Learning for Seismic Response Prediction OF Nonlinear Steel Moment Resisting Frame Structures [6.483318568088176]
  PiML法は、非線形構造の地震応答をモデル化するために、科学的原理と物理法則をディープニューラルネットワークに統合する。 運動方程式を操作することは、システムの非線形性を学習し、物理的に解釈可能な結果の中で解を閉じ込めるのに役立つ。 結果、既存の物理誘導LSTMモデルよりも複雑なデータを処理し、他の非物理データ駆動ネットワークより優れている。
  論文  参考訳（メタデータ） (2024-02-28T02:16:03Z)
• Fine-Tuned Language Models Generate Stable Inorganic Materials as Text [57.01994216693825]
  テキストエンコードされた原子構造データに基づく微調整された大規模言語モデルは、実装が簡単で信頼性が高い。 我々の最強モデルは、CDVAEの約2倍の速度で準安定であると予測された物質を生成することができる。 テキストプロンプト固有の柔軟性のため、我々のモデルは安定物質を無条件に生成するために同時に使用することができる。
  論文  参考訳（メタデータ） (2024-02-06T20:35:28Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• A Physics Enhanced Residual Learning (PERL) Framework for Vehicle Trajectory Prediction [5.7215490229343535]
  PERLは、トラフィック状態予測のための物理とデータ駆動方式の長所を統合する。 物理モデルに固有の解釈可能性を保持し、データ要求を減らした。 PERLは、物理モデル、データ駆動モデル、PINNモデルと比較して、小さなデータセットでより良い予測を実現する。
  論文  参考訳（メタデータ） (2023-09-26T21:41:45Z)
• Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior [32.74388989649232]
  我々は、科学機械学習(SciML)の応用において、事前学習をどのように利用できるかを研究する。 これらのモデルを微調整すると、モデルのサイズが大きくなるにつれてパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2023-06-01T00:32:59Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)
• Learning physically consistent mathematical models from data using group sparsity [2.580765958706854]
  生物学、高騒音レベル、センサーによる相関、強いシステム間変動といった分野では、データ駆動モデルは非感覚的または物理的に矛盾する。 データ駆動モデリングにおいて$textitpriors$を強制する利点を示すシステム生物学のいくつかの応用例を示す。
  論文  参考訳（メタデータ） (2020-12-11T14:45:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。