論文の概要: Determining Domain of Machine Learning Models using Kernel Density Estimates: Applications in Materials Property Prediction

• arxiv url: http://arxiv.org/abs/2406.05143v1
• Date: Tue, 28 May 2024 15:41:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-23 13:55:28.409692
• Title: Determining Domain of Machine Learning Models using Kernel Density Estimates: Applications in Materials Property Prediction
• Title（参考訳）: カーネル密度推定を用いた機械学習モデルの領域決定:材料特性予測への応用
• Authors: Lane E. Schultz, Yiqi Wang, Ryan Jacobs, Dane Morgan,
• Abstract要約: 我々は,カーネル密度推定を用いたモデル領域の評価手法を開発した。 確立された化学知識に基づく無関係と判断された化学物質群は,本測定値と有意な相違が認められた。 相違性の高い尺度は、モデル性能の低さとモデル不確実性の評価の低さと関連している。
• 参考スコア（独自算出の注目度）: 1.8551396341435895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge of the domain of applicability of a machine learning model is essential to ensuring accurate and reliable model predictions. In this work, we develop a new approach of assessing model domain and demonstrate that our approach provides accurate and meaningful designation of in-domain versus out-of-domain when applied across multiple model types and material property data sets. Our approach assesses the distance between a test and training data point in feature space by using kernel density estimation and shows that this distance provides an effective tool for domain determination. We show that chemical groups considered unrelated based on established chemical knowledge exhibit significant dissimilarities by our measure. We also show that high measures of dissimilarity are associated with poor model performance (i.e., high residual magnitudes) and poor estimates of model uncertainty (i.e., unreliable uncertainty estimation). Automated tools are provided to enable researchers to establish acceptable dissimilarity thresholds to identify whether new predictions of their own machine learning models are in-domain versus out-of-domain.
• Abstract（参考訳）: 機械学習モデルの適用可能性のドメインに関する知識は、正確で信頼性の高いモデル予測を保証するために不可欠である。 本研究では,モデル領域の評価を行う新しい手法を開発し,複数のモデルタイプおよび材料特性データセットに適用した場合に,ドメイン内とドメイン外との正確な識別が可能であることを示す。 提案手法は,カーネル密度推定を用いて特徴空間におけるテスト点とトレーニング点の距離を評価し,この距離が領域決定に有効なツールであることを示す。 確立された化学知識に基づく無関係と判断された化学物質群は,本測定値と有意な相違が認められた。 また, 相違度の高い尺度は, モデル性能の低さ(残留度が高い)とモデル不確実性の低さ(信頼できない不確実性推定)に関連していることを示した。 機械学習モデルの新たな予測がドメイン内なのかドメイン外なのかを識別するために、研究者が許容される相違しきい値を確立するための自動化ツールが提供される。

関連論文リスト

• Comparative Evaluation of Applicability Domain Definition Methods for Regression Models [0.0]
  適用可能性領域とは、予測モデルの予測が信頼性と正確さを期待するデータの範囲を指す。 本稿では,非決定論的ベイズニューラルネットワークに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:12:57Z)
• Quantifying Distribution Shifts and Uncertainties for Enhanced Model Robustness in Machine Learning Applications [0.0]
  本研究では,合成データを用いたモデル適応と一般化について検討する。 我々は、データ類似性を評価するために、Kullback-Leiblerの発散、Jensen-Shannon距離、Mahalanobis距離などの量的尺度を用いる。 本研究は,マハラノビス距離などの統計指標を用いて,モデル予測が低誤差の「補間体制」内にあるか,あるいは高誤差の「補間体制」が分布変化とモデル不確実性を評価するための補完的手法を提供することを示唆している。
  論文  参考訳（メタデータ） (2024-05-03T10:05:31Z)
• Out of Distribution Detection via Domain-Informed Gaussian Process State Space Models [22.24457254575906]
  ロボットが見えないシナリオを安全にナビゲートするためには、オンラインのトレーニング外配布(OoD)状況を正確に検出することが重要である。 我々は,既存のドメイン知識をカーネルに埋め込む新しい手法を提案し,また(ii)遅延水平予測に基づくOoDオンラインランタイムモニタを提案する。
  論文  参考訳（メタデータ） (2023-09-13T01:02:42Z)
• Outlier-Based Domain of Applicability Identification for Materials Property Prediction Models [0.38073142980733]
  本稿では,大きな特徴空間を用いた適用可能性領域の探索手法を提案するとともに,検出された領域についてより深い知見を得るための解析手法を提案する。 本研究では,大きな特徴空間を用いた適用可能性領域の探索手法を提案するとともに,検出された領域についてより深い知見を得るための解析手法を提案する。
  論文  参考訳（メタデータ） (2023-01-17T07:51:12Z)
• MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
  本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。 我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。 我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
  論文  参考訳（メタデータ） (2022-12-30T07:37:40Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)
• Firenze: Model Evaluation Using Weak Signals [5.723905680436377]
  本稿では,機械学習モデルの性能比較のための新しいフレームワークFirenzeを紹介する。 興味領域と呼ばれるサンプルの特定のサブセットに対して計算・結合されたマーカーは、実世界のパフォーマンスを頑健に見積もることができることを示す。
  論文  参考訳（メタデータ） (2022-07-02T13:20:38Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Spatial machine-learning model diagnostics: a model-agnostic distance-based approach [91.62936410696409]
  本研究は,空間予測誤差プロファイル (SPEP) と空間変数重要度プロファイル (SVIP) を,新しいモデルに依存しない評価・解釈ツールとして提案する。 統計学的手法、線形モデル、ランダムフォレスト、ハイブリッドアルゴリズムのSPEPとSVIPは、顕著な差異と関連する類似性を示している。 この新しい診断ツールは空間データ科学のツールキットを充実させ、MLモデルの解釈、選択、設計を改善する可能性がある。
  論文  参考訳（メタデータ） (2021-11-13T01:50:36Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。