論文の概要: LTAU-FF: Loss Trajectory Analysis for Uncertainty in Atomistic Force
Fields
- arxiv url: http://arxiv.org/abs/2402.00853v1
- Date: Thu, 1 Feb 2024 18:50:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 13:48:33.951483
- Title: LTAU-FF: Loss Trajectory Analysis for Uncertainty in Atomistic Force
Fields
- Title(参考訳): LTAU-FF:原子間力場の不確かさの損失軌道解析
- Authors: Joshua A. Vita, Amit Samanta, Fei Zhou, Vincenzo Lordi
- Abstract要約: モデルアンサンブルを効率的に表現するために,トレーニング中に得られたサンプルごとの誤差の累積分布関数(CDF)を利用する。
LTAUと呼ばれる単純なUQメトリックを開発し、トレーニングや推論で複数のモデルの評価を必要とせず、アンサンブルベースの技法の強みを活用する。
- 参考スコア(独自算出の注目度): 5.895479908315789
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model ensembles are simple and effective tools for estimating the prediction
uncertainty of deep learning atomistic force fields. Despite this, widespread
adoption of ensemble-based uncertainty quantification (UQ) techniques is
limited by the high computational costs incurred by ensembles during both
training and inference. In this work we leverage the cumulative distribution
functions (CDFs) of per-sample errors obtained over the course of training to
efficiently represent the model ensemble, and couple them with a distance-based
similarity search in the model latent space. Using these tools, we develop a
simple UQ metric (which we call LTAU) that leverages the strengths of
ensemble-based techniques without requiring the evaluation of multiple models
during either training or inference. As an initial test, we apply our method
towards estimating the epistemic uncertainty in atomistic force fields
(LTAU-FF) and demonstrate that it can be easily calibrated to accurately
predict test errors on multiple datasets from the literature. We then
illustrate the utility of LTAU-FF in two practical applications: 1) tuning the
training-validation gap for an example dataset, and 2) predicting errors in
relaxation trajectories on the OC20 IS2RS task. Though in this work we focus on
the use of LTAU with deep learning atomistic force fields, we emphasize that it
can be readily applied to any regression task, or any ensemble-generation
technique, to provide a reliable and easy-to-implement UQ metric.
- Abstract(参考訳): モデルアンサンブルは、深層学習原子間力場の予測不確実性を推定するためのシンプルで効果的なツールである。
これにもかかわらず、アンサンブルベースの不確実性定量化(UQ)技術の普及は、トレーニングと推論の両方においてアンサンブルによって引き起こされる高い計算コストによって制限される。
本研究では,学習過程で得られたサンプル単位誤差の累積分布関数(cdfs)を利用して,モデルのアンサンブルを効率的に表現し,モデルの潜在空間における距離に基づく類似性探索と結合する。
これらのツールを用いることで、トレーニングや推論において複数のモデルの評価を必要とせず、アンサンブルベースの技法の強みを活用するシンプルなUQメトリック(LTAUと呼ぶ)を開発する。
初期実験として, 本手法を用いて原子間力場(ltau-ff)における認識的不確かさを推定し, 文献から複数のデータセットにおけるテスト誤差を正確に予測できることを示す。
次に、LTAU-FFの実用性について説明する。
1)サンプルデータセットのトレーニング検証ギャップを調整し、
2) OC20 IS2RSタスクにおける緩和軌道誤差の予測
本研究は,LTAUを深層学習原子力場に応用することに焦点を当てるが,どの回帰タスクやアンサンブル生成技術にも容易に適用でき,信頼性と実装が容易なUQ指標を提供できることを強調する。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Supervised Contrastive Learning based Dual-Mixer Model for Remaining
Useful Life Prediction [3.081898819471624]
Remaining Useful Life (RUL)予測は、現在の予測モーメントからデバイスの完全な障害までの残時間を正確に見積もることを目的としている。
従来のRUL予測手法における時間的特徴と空間的特徴の厳密結合の欠点を克服するため,Dual-Mixerモデルと呼ばれる空間的時間的特徴抽出器を提案する。
提案手法の有効性は,C-MAPSSデータセットに関する他の最新の研究結果との比較により検証した。
論文 参考訳(メタデータ) (2024-01-29T14:38:44Z) - Estimating Fr\'echet bounds for validating programmatic weak supervision [50.13475056199486]
我々は、ある変数が連続的に評価される(おそらく高次元の)分布クラス上のFr'echeの境界を推定する手法を開発する。
プログラム弱監督(PWS)を訓練した機械学習(ML)モデルの性能を評価することで,アルゴリズムの有用性を実証する。
論文 参考訳(メタデータ) (2023-12-07T07:15:11Z) - Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation [17.924276728038304]
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
論文 参考訳(メタデータ) (2023-10-12T23:06:52Z) - How Many Pretraining Tasks Are Needed for In-Context Learning of Linear
Regression? [98.44739214880573]
様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。
線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
論文 参考訳(メタデータ) (2023-10-12T15:01:43Z) - Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。
提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文 参考訳(メタデータ) (2023-04-25T12:29:22Z) - Single-Trajectory Distributionally Robust Reinforcement Learning [13.013268095049236]
強化学習(Reinforcement Learning, RL)は、人工知能(Artificial General Intelligence, AGI)に繋がる重要な要素と考えられている。
しかしながら、RLはテスト環境と同じトレーニング環境を持つことでしばしば批判され、実世界でのRLの適用を妨げている。
この問題を解決するために、未知のテスト環境を含む可能性のある環境の組における最悪の性能を改善するために、分散ロバストRL(DRRL)を提案する。
論文 参考訳(メタデータ) (2023-01-27T14:08:09Z) - Tight Mutual Information Estimation With Contrastive Fenchel-Legendre
Optimization [69.07420650261649]
我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。
実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。
FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
論文 参考訳(メタデータ) (2021-07-02T15:20:41Z) - FedDANE: A Federated Newton-Type Method [49.9423212899788]
フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。
我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
論文 参考訳(メタデータ) (2020-01-07T07:44:41Z) - Localized Debiased Machine Learning: Efficient Inference on Quantile
Treatment Effects and Beyond [69.83813153444115]
因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。
Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。
本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
論文 参考訳(メタデータ) (2019-12-30T14:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。