論文の概要: Cross-functional transferability in universal machine learning interatomic potentials

• arxiv url: http://arxiv.org/abs/2504.05565v1
• Date: Mon, 07 Apr 2025 23:45:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:28:27.020627
• Title: Cross-functional transferability in universal machine learning interatomic potentials
• Title（参考訳）: ユニバーサル機械学習の原子間ポテンシャルにおけるクロスファンクショナルトランスファービリティ
• Authors: Xu Huang, Bowen Deng, Peichen Zhong, Aaron D. Kaplan, Kristin A. Persson, Gerbrand Ceder,
• Abstract要約: エネルギースケールの大幅な変化とGGAとr$2$SCANの相関が、uMLIPにおけるクロスファンクショナルデータ転送可能性に困難をもたらすことを示す。 UMLIPの転送学習における要素エネルギー参照の重要性を,MP-r$2$SCANデータセットのベンチマークにより示す。
• 参考スコア（独自算出の注目度）: 1.9388386850365276
• License:
• Abstract: The rapid development of universal machine learning interatomic potentials (uMLIPs) has demonstrated the possibility for generalizable learning of the universal potential energy surface. In principle, the accuracy of uMLIPs can be further improved by bridging the model from lower-fidelity datasets to high-fidelity ones. In this work, we analyze the challenge of this transfer learning problem within the CHGNet framework. We show that significant energy scale shifts and poor correlations between GGA and r$^2$SCAN pose challenges to cross-functional data transferability in uMLIPs. By benchmarking different transfer learning approaches on the MP-r$^2$SCAN dataset of 0.24 million structures, we demonstrate the importance of elemental energy referencing in the transfer learning of uMLIPs. By comparing the scaling law with and without the pre-training on a low-fidelity dataset, we show that significant data efficiency can still be achieved through transfer learning, even with a target dataset of sub-million structures. We highlight the importance of proper transfer learning and multi-fidelity learning in creating next-generation uMLIPs on high-fidelity data.
• Abstract（参考訳）: UMLIP(Universal Machine Learning Interatomic potentials)の急速な発展は、普遍ポテンシャルエネルギー表面の一般化可能な学習の可能性を示している。 原則として、低忠実度データセットから高忠実度データセットにモデルをブリッジすることで、uMLIPの精度をさらに向上することができる。 本稿では,CHGNetフレームワークにおけるこの伝達学習問題の課題を分析する。 エネルギースケールの大幅な変化とGGAとr$2$SCANとの相関が,uMLIPのクロスファンクショナルデータ転送性に課題をもたらすことを示す。 我々は,MP-r$^2$SCANデータセットの0.24万構造の異なる移動学習手法をベンチマークすることにより,uMLIPの移動学習における要素的エネルギー参照の重要性を実証する。 低忠実度データセットの事前学習と事前学習を伴わないスケーリング法則を比較することで、サブミリオン構造のターゲットデータセットであっても、転送学習によって有意なデータ効率が達成可能であることを示す。 高忠実度データを用いた次世代UMLIPの作成において,適切な伝達学習と多忠実度学習の重要性を強調した。

関連論文リスト

• Enhancing Machine Learning Potentials through Transfer Learning across Chemical Elements [0.0]
  機械学習ポテンシャル(MLP)は、計算コストの桁違いでアブ初期精度のシミュレーションを可能にする。 ここでは化学的に類似した元素間のポテンシャルエネルギー表面の移動学習を紹介する。 我々は,伝達学習が力予測のスクラッチから従来の訓練を超越し,より安定なシミュレーションと温度伝達性の向上をもたらすことを実証した。
  論文  参考訳（メタデータ） (2025-02-19T08:20:54Z)
• On Adversarial Robustness of Language Models in Transfer Learning [13.363850350446869]
  転送学習は、標準的なパフォーマンス指標を改善する一方で、敵攻撃に対する脆弱性の増加につながることがよく示される。 以上の結果から, モデルサイズ, アーキテクチャ, 適応手法の複雑な相互作用が示唆された。
  論文  参考訳（メタデータ） (2024-12-29T15:55:35Z)
• Evaluating Language Models as Synthetic Data Generators [74.80905172696366]
  AgoraBenchは、LMのデータ生成能力を評価するための標準化された設定とメトリクスを提供するベンチマークである。 6つのLMを使って126万のトレーニングインスタンスを合成し、99の学生モデルをトレーニングすることで、LMのデータ生成能力に関する重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2024-12-04T19:20:32Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)
• Amplifying Pathological Detection in EEG Signaling Pathways through Cross-Dataset Transfer Learning [10.212217551908525]
  実世界の病理分類課題におけるデータとモデルスケーリングとデータセット間の知識伝達の有効性について検討する。 ネガティブトランスファーの可能性の課題を特定し、いくつかの重要なコンポーネントの重要性を強調する。 以上の結果から,小規模で汎用的なモデル(ShallowNetなど)は単一データセット上では良好に動作するが,大規模なモデル(TCNなど)では,大規模かつ多様なデータセットからの転送や学習がより優れていることが示唆された。
  論文  参考訳（メタデータ） (2023-09-19T20:09:15Z)
• Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks [27.17697714584768]
  ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。 目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。 また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-20T20:26:23Z)
• CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in Federated Learning [27.84845136697669]
  我々は,グローバルモデルとローカルモデル間の知識伝達の程度を研究するために,新しい知識蒸留に基づくアプローチを開発する。 提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
  論文  参考訳（メタデータ） (2022-04-04T14:49:19Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
  マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。 MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。 本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
  論文  参考訳（メタデータ） (2020-02-17T19:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。