論文の概要: Transfer Learning for Deep Learning-based Prediction of Lattice Thermal Conductivity

• arxiv url: http://arxiv.org/abs/2411.18259v1
• Date: Wed, 27 Nov 2024 11:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:25:16.186951
• Title: Transfer Learning for Deep Learning-based Prediction of Lattice Thermal Conductivity
• Title（参考訳）: 深層学習に基づく格子熱伝導率予測のための伝達学習
• Authors: L. Klochko, M. d'Aquin, A. Togo, L. Chaput,
• Abstract要約: 深層学習モデル(ParAIsite)の精度と一般化性に及ぼす伝達学習の影響について検討する。 格子熱伝導率(LTC)の低品質近似の大規模なデータセット上で、初めて微調整を行うと、さらに改善が得られた。 有望な結果は、低熱伝導率材料を探索する大きなデータベースを探索する能力を高めるための道を開く。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Machine learning promises to accelerate the material discovery by enabling high-throughput prediction of desirable macro-properties from atomic-level descriptors or structures. However, the limited data available about precise values of these properties have been a barrier, leading to predictive models with limited precision or the ability to generalize. This is particularly true of lattice thermal conductivity (LTC): existing datasets of precise (ab initio, DFT-based) computed values are limited to a few dozen materials with little variability. Based on such datasets, we study the impact of transfer learning on both the precision and generalizability of a deep learning model (ParAIsite). We start from an existing model (MEGNet~\cite{Chen2019}) and show that improvements are obtained by fine-tuning a pre-trained version on different tasks. Interestingly, we also show that a much greater improvement is obtained when first fine-tuning it on a large datasets of low-quality approximations of LTC (based on the AGL model) and then applying a second phase of fine-tuning with our high-quality, smaller-scale datasets. The promising results obtained pave the way not only towards a greater ability to explore large databases in search of low thermal conductivity materials but also to methods enabling increasingly precise predictions in areas where quality data are rare.
• Abstract（参考訳）: 機械学習は、原子レベルの記述子や構造から望ましいマクロプロパティの高スループット予測を可能にすることで、物質発見を加速することを約束する。 しかし、これらの特性の正確な値に関する限られたデータは障壁となり、限られた精度の予測モデルや一般化の能力をもたらす。 これは格子熱伝導率(LTC)に特に当てはまる: 正確な(初期、DFTベースの)計算値の既存のデータセットは、ほとんどばらつきのない数十の材料に限られている。 このようなデータセットに基づいて,深層学習モデル(ParAIsite)の精度と一般化性に伝達学習が与える影響について検討した。 既存のモデル(MEGNet~\cite{Chen2019})から始めて、異なるタスクで事前トレーニングされたバージョンを微調整することで改善が得られることを示す。 興味深いことに、まずLTC(AGLモデルに基づく)の低品質近似の大規模なデータセット上で微調整を行い、次に、高品質で小規模なデータセットで微調整の第2フェーズを適用すると、さらに改善が得られます。 有望な結果は、低熱伝導率材料を探索する大きなデータベースを探索する能力を高めるだけでなく、品質データが稀な領域において、より正確な予測を可能にする方法にも向けられた。

関連論文リスト

• Towards Data-Efficient Pretraining for Atomic Property Prediction [51.660835328611626]
  タスク関連データセットでの事前トレーニングは、大規模な事前トレーニングと一致するか、あるいは超える可能性があることを示す。 本稿では,コンピュータビジョンのFr'echet Inception Distanceにインスパイアされた,化学類似度指数(CSI)を紹介する。
  論文  参考訳（メタデータ） (2025-02-16T11:46:23Z)
• An Investigation on Machine Learning Predictive Accuracy Improvement and Uncertainty Reduction using VAE-based Data Augmentation [2.517043342442487]
  深層生成学習は、特定のMLモデルを使用して、既存のデータの基盤となる分布を学習し、実際のデータに似た合成サンプルを生成する。 本研究では,変分オートエンコーダ(VAE)を用いた深部生成モデルを用いて,データ拡張の有効性を評価することを目的とする。 本研究では,拡張データを用いてトレーニングしたディープニューラルネットワーク(DNN)モデルの予測において,データ拡張が精度の向上につながるかどうかを検討した。
  論文  参考訳（メタデータ） (2024-10-24T18:15:48Z)
• Large language models, physics-based modeling, experimental measurements: the trinity of data-scarce learning of polymer properties [10.955525128731654]
  大規模言語モデル(LLM)は、評価、分析、設計のための高速で正確な物質モデリングパラダイムとして約束される。 データ不足の病理に対処する物理ベースのトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-07-03T02:57:40Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Transfer Learning for Molecular Property Predictions from Small Data Sets [0.0]
  2つの小さなデータセット上での分子特性の予測のために、一般的な機械学習モデルをベンチマークする。 本稿では,大規模なデータセットを用いて各モデルを事前学習し,元のデータセットを微調整した上で,より正確なモデルを得ることができる転送学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-20T14:25:34Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• End-to-end Material Thermal Conductivity Prediction through Machine Learning [1.5565958456748663]
  熱伝導率予測のための機械学習モデルは過度に適合する。 テストデータセットで達成した絶対誤差の平均値は50～60%の範囲に留まった。
  論文  参考訳（メタデータ） (2023-11-06T14:34:30Z)
• Test-Time Adaptation Induces Stronger Accuracy and Agreement-on-the-Line [65.14099135546594]
  最近のテスト時間適応 (TTA) 法は, モデルに非常に弱い相関関係を示すシフトであっても, ACL と AGL の傾向を大幅に強化する。 この結果から,TTAとAGLに基づく推定手法を組み合わせることで,より広い分布シフトの集合に対する高精度なモデルOOD性能を推定できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-07T23:21:25Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Multi-fidelity prediction of fluid flow and temperature field based on transfer learning using Fourier Neural Operator [10.104417481736833]
  本研究では,フーリエニューラル演算子に基づく新しい多要素学習手法を提案する。 トランスファーラーニングパラダイムの下では、豊富な低忠実度データと限られた高忠実度データを使用する。 提案した多忠実度モデルの精度を検証するために,3つの典型的な流体および温度予測問題を選択する。
  論文  参考訳（メタデータ） (2023-04-14T07:46:03Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。