論文の概要: Distribution Learning for Molecular Regression
- arxiv url: http://arxiv.org/abs/2407.20475v1
- Date: Tue, 30 Jul 2024 00:21:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 18:38:42.381608
- Title: Distribution Learning for Molecular Regression
- Title(参考訳): 分子回帰のための分布学習
- Authors: Nima Shoghi, Pooya Shoghi, Anuroop Sriram, Abhishek Das,
- Abstract要約: Distributional Mixture of Experts (DMoE) はモデルに依存しない、データに依存しない回帰法である。
分子特性予測データセットを用いたDMoEの性能評価を行った。
- 参考スコア(独自算出の注目度): 10.96062816455682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Using "soft" targets to improve model performance has been shown to be effective in classification settings, but the usage of soft targets for regression is a much less studied topic in machine learning. The existing literature on the usage of soft targets for regression fails to properly assess the method's limitations, and empirical evaluation is quite limited. In this work, we assess the strengths and drawbacks of existing methods when applied to molecular property regression tasks. Our assessment outlines key biases present in existing methods and proposes methods to address them, evaluated through careful ablation studies. We leverage these insights to propose Distributional Mixture of Experts (DMoE): A model-independent, and data-independent method for regression which trains a model to predict probability distributions of its targets. Our proposed loss function combines the cross entropy between predicted and target distributions and the L1 distance between their expected values to produce a loss function that is robust to the outlined biases. We evaluate the performance of DMoE on different molecular property prediction datasets -- Open Catalyst (OC20), MD17, and QM9 -- across different backbone model architectures -- SchNet, GemNet, and Graphormer. Our results demonstrate that the proposed method is a promising alternative to classical regression for molecular property prediction tasks, showing improvements over baselines on all datasets and architectures.
- Abstract(参考訳): モデルパフォーマンスを改善するために"ソフト"ターゲットを使用することは、分類設定において有効であることが示されているが、回帰のためのソフトターゲットの使用は、機械学習においてあまり研究されていないトピックである。
回帰のためのソフトターゲットの使用に関する既存の文献は、手法の限界を適切に評価することができず、経験的評価は非常に限られている。
本研究では,分子特性回帰タスクに適用した場合の既存手法の強みと欠点を評価する。
本評価では,既存手法における重要なバイアスを概説し,それに対応する方法を提案する。
モデル非依存かつデータ非依存な回帰法で、モデルがターゲットの確率分布を予測することを訓練する。
提案した損失関数は, 予測分布と目標分布の交叉エントロピーと, 予測値間のL1距離とを組み合わせて, 概略バイアスに頑健な損失関数を生成する。
分子特性予測データセットであるOpen Catalyst (OC20), MD17, QM9の異なるバックボーンモデルアーキテクチャであるSchNet, GemNet, GraphormerにおけるDMoEの性能を評価する。
提案手法は分子特性予測タスクにおける古典的回帰の代替として有望であることを示すとともに,全てのデータセットやアーキテクチャ上でのベースラインの向上を示す。
関連論文リスト
- Predictability Analysis of Regression Problems via Conditional Entropy Estimations [1.8913544072080544]
回帰問題の予測可能性を評価するために,条件付きエントロピー推定器を開発した。
合成および実世界のデータセットの実験は、これらの推定器の堅牢性と有用性を示している。
論文 参考訳(メタデータ) (2024-06-06T07:59:19Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳(メタデータ) (2023-11-10T08:50:28Z) - Surrogate uncertainty estimation for your time series forecasting black-box: learn when to trust [2.0393477576774752]
本研究では不確実性推定手法を紹介する。
妥当な不確実性推定を伴うベース回帰モデルを強化する。
各種時系列予測データを用いて, 代理モデルに基づく手法により, 精度の高い信頼区間が得られることがわかった。
論文 参考訳(メタデータ) (2023-02-06T14:52:56Z) - Value Gradient weighted Model-Based Reinforcement Learning [28.366157882991565]
モデルベース強化学習(MBRL)は、制御ポリシーを得るための効率的な手法である。
VaGraMは価値認識モデル学習の新しい手法である。
論文 参考訳(メタデータ) (2022-04-04T13:28:31Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳(メタデータ) (2021-05-07T03:33:00Z) - Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。
本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。
提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-10-19T14:19:42Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - On the model-based stochastic value gradient for continuous
reinforcement learning [50.085645237597056]
モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。
以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
論文 参考訳(メタデータ) (2020-08-28T17:58:29Z) - A Locally Adaptive Interpretable Regression [7.4267694612331905]
線形回帰は最も解釈可能な予測モデルの一つである。
本稿では,局所適応型解釈型回帰(LoAIR)を導入する。
我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
論文 参考訳(メタデータ) (2020-05-07T09:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。