論文の概要: On The Finetuning of MLIPs Through the Lens of Iterated Maps With BPTT

• arxiv url: http://arxiv.org/abs/2512.01067v1
• Date: Sun, 30 Nov 2025 20:34:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.568859
• Title: On The Finetuning of MLIPs Through the Lens of Iterated Maps With BPTT
• Title（参考訳）: BPTTを用いた反復地図のレンズによるMLIPの微細化について
• Authors: Evan Dramko, Yizhi Zhu, Aleksandar Krivokapic, Geoffroy Hautier, Thomas Reps, Christopher Jermaine, Anastasios Kyrillidis,
• Abstract要約: 構造緩和のためのMLIPのトレーニングには、第一原理計算力を再現するためのトレーニングモデルが含まれる。 本稿では,事前訓練したMLIP上で使用する微細チューニング手法を提案する。 本手法は,事前学習モデルに適用した場合,かなりの性能向上を達成できることを示す。
• 参考スコア（独自算出の注目度）: 40.134801761022324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vital to the creation of advanced materials is performing structural relaxations. Traditional approaches built on physics-derived first-principles calculations are computationally expensive, motivating the creation of machine-learning interatomic potentials (MLIPs). Traditional approaches to training MLIPs for structural relaxations involves training models to faithfully reproduce first-principles computed forces. We propose a fine-tuning method to be used on a pretrained MLIP in which we create a fully-differentiable end-to-end simulation loop that optimizes the predicted final structures directly. Trajectories are unrolled and gradients are tracked through the entire relaxation. We show that this method achieves substantial performance gains when applied to pretrained models, leading to a nearly $50\%$ reduction in test error across the sample datasets. Interestingly, we show the process is robust to substantial variation in the relaxation setup, achieving negligibly different results across varied hyperparameter and procedural modifications. Experimental results indicate this is due to a ``preference'' of BPTT to modify the MLIP rather than the other trainable parameters. Of particular interest to practitioners is that this approach lowers the data requirements for producing an effective domain-specific MLIP, addressing a common bottleneck in practical deployment.
• Abstract（参考訳）: 先進的な素材の創出には、構造的な緩和が欠かせない。 物理から導かれる第一原理計算に基づく従来の手法は計算に高価であり、機械学習の原子間ポテンシャル(MLIP)の作成を動機付けている。 構造緩和のためのMLIPを訓練するための伝統的なアプローチは、第一原理計算力を忠実に再現する訓練モデルを含む。 予測された最終構造を直接最適化する完全微分可能なエンドツーエンドシミュレーションループを生成する,事前訓練されたMLIP上で使用する微調整手法を提案する。 軌道はアンロールされ、勾配は緩和全体を通して追跡される。 本手法は, 事前学習モデルに適用した場合, かなりの性能向上を実現し, サンプルデータ間のテスト誤差を約50\%削減できることを示した。 興味深いことに、このプロセスは緩和セットアップの実質的な変動に対して堅牢であり、様々なハイパーパラメーターと手続き的な修正で無視できるほど異なる結果が得られる。 実験の結果、これは他のトレーニング可能なパラメータではなくMLIPを変更するBPTTの ``preference'' によるものであることが示唆された。 実践者にとって特に興味深いのは、このアプローチが効果的なドメイン固有のMLIPを生成するためのデータ要件を低くし、実践的なデプロイメントにおける共通のボトルネックに対処することです。

関連論文リスト

• A Machine Learning Approach to Generate Residual Stress Distributions using Sparse Characterization Data in Friction-Stir Processed Parts [0.0]
  処理後のコンポーネント内に残留する残留応力は、性能を低下させる可能性がある。 本研究では,機械学習に基づく残留応力発生器(Residual Stress Generator,RSG)を提案する。
  論文  参考訳（メタデータ） (2025-06-09T20:26:57Z)
• Self-Refining Training for Amortized Density Functional Theory [5.5541132320126945]
  そこで本稿では,自己修復学習戦略を導入することにより,大規模な事前コンパイルデータセットに対するアモータイズDFTソルバの依存性を低減する手法を提案する。 本手法は, 生成試料と基底状態エネルギーで定義される対象ボルツマン分布との差分を測定するKL偏差の変動上界の最小化として導出する。
  論文  参考訳（メタデータ） (2025-06-02T00:32:32Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Provable Meta-Learning with Low-Rank Adaptations [37.120226706944926]
  本稿では,PEFTをベースとしたメタラーニングフレームワークを導入し,未知のタスクに容易に適応できるモデルを学習する。 LoRAを用いた線形モデルでは、適応可能なパラメータの集合を見つけるのに標準再学習が確実に最適であることを示す。 我々は、これらの理論的洞察を、実データビジョンや言語タスクと同様に、合成データの実験を通じて検証する。
  論文  参考訳（メタデータ） (2024-10-29T17:24:18Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Real-time simulation of viscoelastic tissue behavior with physics-guided deep learning [0.8250374560598492]
  軟部組織の変位場を粘弾性特性で予測する深層学習法を提案する。 提案手法は従来のCNNモデルよりも精度が高い。 本調査は,仮想現実における深層学習のギャップを埋めるのに役立つものと期待されている。
  論文  参考訳（メタデータ） (2023-01-11T18:17:10Z)
• Transfer learning driven design optimization for inertial confinement fusion [0.0]
  伝達学習は、シミュレーションと実験データを共通のフレームワークに組み込む予測モデルを作成するための有望なアプローチである。 従来のモデルキャリブレーション手法よりも設計を最適化する方が効率的であることを示す。
  論文  参考訳（メタデータ） (2022-05-26T17:38:57Z)
• Learning to predict metal deformations in hot-rolling processes [59.00006390882099]
  ホットローリング(Hot-rolling)は、入力から一連の変形を通じて断面を生成する金属成形プロセスである。 現状では、ロールの回転列と形状は、与えられた断面を達成するために必要である。 そこで本研究では,一組のロールが与えられた形状を予測するための教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:33:44Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。