論文の概要: Understanding and Mitigating Distribution Shifts For Machine Learning Force Fields

• arxiv url: http://arxiv.org/abs/2503.08674v1
• Date: Tue, 11 Mar 2025 17:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:41:32.890403
• Title: Understanding and Mitigating Distribution Shifts For Machine Learning Force Fields
• Title（参考訳）: 機械学習力場における分散シフトの理解と緩和
• Authors: Tobias Kreiman, Aditi S. Krishnapriyan,
• Abstract要約: 化学データセットの診断実験を行い、大きな課題をもたらす共通のシフトを明らかにします。 これらの観測から、現在の教師あり訓練手法はMLFFを不適切に正規化していると仮定する。 MLFFの分散シフトを緩和するための初期ステップとして,2つの新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 2.8062498505437055
• License:
• Abstract: Machine Learning Force Fields (MLFFs) are a promising alternative to expensive ab initio quantum mechanical molecular simulations. Given the diversity of chemical spaces that are of interest and the cost of generating new data, it is important to understand how MLFFs generalize beyond their training distributions. In order to characterize and better understand distribution shifts in MLFFs, we conduct diagnostic experiments on chemical datasets, revealing common shifts that pose significant challenges, even for large foundation models trained on extensive data. Based on these observations, we hypothesize that current supervised training methods inadequately regularize MLFFs, resulting in overfitting and learning poor representations of out-of-distribution systems. We then propose two new methods as initial steps for mitigating distribution shifts for MLFFs. Our methods focus on test-time refinement strategies that incur minimal computational cost and do not use expensive ab initio reference labels. The first strategy, based on spectral graph theory, modifies the edges of test graphs to align with graph structures seen during training. Our second strategy improves representations for out-of-distribution systems at test-time by taking gradient steps using an auxiliary objective, such as a cheap physical prior. Our test-time refinement strategies significantly reduce errors on out-of-distribution systems, suggesting that MLFFs are capable of and can move towards modeling diverse chemical spaces, but are not being effectively trained to do so. Our experiments establish clear benchmarks for evaluating the generalization capabilities of the next generation of MLFFs. Our code is available at https://tkreiman.github.io/projects/mlff_distribution_shifts/.
• Abstract（参考訳）: 機械学習力場(MLFF)は、高価なアブ初期量子力学的分子シミュレーションの代替として有望である。 興味のある化学空間の多様性と新しいデータを生成するコストを考えると、MLFFがトレーニング分布を超えてどのように一般化するかを理解することが重要である。 MLFFの分散シフトを特徴づけ,よりよく理解するために,化学データセットの診断実験を行い,広範囲なデータに基づいてトレーニングされた大規模基盤モデルであっても,大きな課題を生じさせる共通のシフトを明らかにする。 これらの結果から,現在の指導的訓練手法がMLFFを不適切に正規化していると仮定し,非流通システムの過度な表現を過度に適合させ,学習させることを仮定した。 次に、MLFFの分布シフトを緩和するための初期ステップとして、2つの新しい手法を提案する。 提案手法は,最小限の計算コストを発生させるテスト時間改善戦略に焦点をあてる。 スペクトルグラフ理論に基づく最初の戦略は、テストグラフのエッジをトレーニング中に見られるグラフ構造に合わせて修正する。 第2の戦略は、安価な物理先行のような補助的な目的を用いて勾配を踏むことにより、テスト時の配当外システムの表現を改善する。 テストタイムリファインメント戦略は配電システムのエラーを著しく減らし、MLFFは多様な化学空間をモデル化できるが、効果的に訓練されていないことを示唆している。 実験では,次世代MLFFの一般化能力を評価するための明確なベンチマークを構築した。 私たちのコードはhttps://tkreiman.github.io/projects/mlff_distribution_shifts/で利用可能です。

関連論文リスト

• Enhancing Out-of-Distribution Detection with Multitesting-based Layer-wise Feature Fusion [11.689517005768046]
  アウト・オブ・ディストリビューション(Out-of-distriion)サンプルは、トレーニング分布と比較して、局所的またはグローバルな特徴の変化を示す可能性がある。 本稿では,新しいフレームワーク,Multitesting-based Layer-wise Out-of-Distribution (OOD) を提案する。 本手法は, ベースライン法と比較して, 分布外検出の性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-03-16T04:35:04Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• Unsupervised Discovery of Interpretable Directions in h-space of Pre-trained Diffusion Models [63.1637853118899]
  本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。 我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。 それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
  論文  参考訳（メタデータ） (2023-10-15T18:44:30Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Machine Learning Force Fields with Data Cost Aware Training [94.78998399180519]
  分子動力学(MD)シミュレーションを加速するために機械学習力場(MLFF)が提案されている。 最もデータ効率のよいMLFFであっても、化学精度に達するには数百フレームの力とエネルギーのラベルが必要になる。 我々は、安価な不正確なデータと高価な正確なデータの組み合わせを利用して、MLFFのデータコストを下げる多段階計算フレームワークASTEROIDを提案する。
  論文  参考訳（メタデータ） (2023-06-05T04:34:54Z)
• Robustness, Evaluation and Adaptation of Machine Learning Models in the Wild [4.304803366354879]
  本研究では、ドメインシフトに対するロバスト性の障害の原因と、ドメインロバストモデルをトレーニングするためのアルゴリズムを提案する。 モデル脆性の鍵となる原因はドメイン過度な適合であり、新しいトレーニングアルゴリズムはドメイン一般仮説を抑え、奨励する。
  論文  参考訳（メタデータ） (2023-03-05T21:41:16Z)
• Addressing Distribution Shift at Test Time in Pre-trained Language Models [3.655021726150369]
  State-of-the-the-art pre-trained Language Model (PLM)は、多くの言語処理タスクに適用された場合、他のモデルよりも優れている。 PLMは分散シフト下で性能が低下することが判明した。 本研究では,分散シフト下での試験時間におけるPLMの性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2022-12-05T16:04:54Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)
• FLUID: A Unified Evaluation Framework for Flexible Sequential Data [42.44973069520298]
  我々は新しい統合評価フレームワーク、FLUID(Flexible Sequential Data)を導入する。 FLUIDは、少数ショット、継続、転送、表現学習の目的を統合している。 我々は、現在のソリューションの利点と限界に関する新たな洞察をもたらす、幅広い手法の実験を行う。
  論文  参考訳（メタデータ） (2020-07-06T04:31:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。