論文の概要: Heterogenous Ensemble of Models for Molecular Property Prediction
- arxiv url: http://arxiv.org/abs/2211.11035v1
- Date: Sun, 20 Nov 2022 17:25:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 23:04:27.776488
- Title: Heterogenous Ensemble of Models for Molecular Property Prediction
- Title（参考訳）: 分子特性予測モデルの不均一なアンサンブル
- Authors: Sajad Darabi, Shayan Fazeli, Jiwei Liu, Alexandre Milesi, Pawel
Morkisz, Jean-Fran\c{c}ois Puget, Gilberto Titericz
- Abstract要約: 分子の異なるモーダル性を考える手法を提案する。
これらのモデルをHuberRegressorでアンサンブルします。
これにより、OGB Large-Scale Challenge (2022)の2textsuperscriptndエディションの勝利のソリューションが得られる。
- 参考スコア（独自算出の注目度）: 55.91865861896012
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous works have demonstrated the importance of considering different
modalities on molecules, each of which provide a varied granularity of
information for downstream property prediction tasks. Our method combines
variants of the recent TransformerM architecture with Transformer, GNN, and
ResNet backbone architectures. Models are trained on the 2D data, 3D data, and
image modalities of molecular graphs. We ensemble these models with a
HuberRegressor. The models are trained on 4 different train/validation splits
of the original train + valid datasets. This yields a winning solution to the
2\textsuperscript{nd} edition of the OGB Large-Scale Challenge (2022) on the
PCQM4Mv2 molecular property prediction dataset. Our proposed method achieves a
test-challenge MAE of $0.0723$ and a validation MAE of $0.07145$. Total
inference time for our solution is less than 2 hours. We open-source our code
at https://github.com/jfpuget/NVIDIA-PCQM4Mv2.
- Abstract（参考訳）: 従来の研究は、下流特性予測タスクに様々な粒度の情報を提供する分子の異なるモジュラリティを考えることの重要性を証明してきた。
本稿では,TransformerMアーキテクチャとTransformer,GNN,ResNetのバックボーンアーキテクチャを組み合わせた手法を提案する。
モデルは分子グラフの2次元データ、3次元データ、画像モダリティに基づいて訓練される。
これらのモデルをHuberRegressorでアンサンブルします。
モデルは、元のトレイン+有効データセットの4つの異なるトレイン/バリデーション分割でトレーニングされる。
これにより、pcqm4mv2分子特性予測データセット上のogb large-scale challenge (2022)の2\textsuperscript{nd}エディションの勝利解が得られる。
提案手法は,テストチェレンジMAEが0.0723$で,バリデーションMAEが0.07145$である。
私たちのソリューションの総推測時間は2時間未満です。
ソースコードはhttps://github.com/jfpuget/NVIDIA-PCQM4Mv2.comで公開しています。
関連論文リスト
- FissionFusion: Fast Geometric Generation and Hierarchical Souping for Medical Image Analysis [0.7751705157998379]
十分に注釈付けされた医療データセットの不足は、ImageNetのような広範なデータセットやCLIPのような事前訓練されたモデルからの移行学習を活用する必要がある。
モデルスープは、In-Domain(ID)タスクのパフォーマンスを改善し、out-of-Distribution(OOD)データセットに対する堅牢性を高めることを目的とした、複数の微調整されたモデルの平均である。
本稿では,様々なレベルのモデルの局所的および大域的集約を伴う階層的統合手法を提案する。
論文 参考訳（メタデータ） (2024-03-20T06:48:48Z) - PARSAC: Accelerating Robust Multi-Model Fitting with Parallel Sample
Consensus [26.366299016589256]
雑音データから幾何モデルの複数事例を頑健に推定するリアルタイム手法を提案する。
ニューラルネットワークは、入力データを潜在的モデルインスタンスを表すクラスタに分割する。
我々は、画像当たり5ミリ秒の推論時間を持つ複数の確立されたデータセットと同様に、これらに対して最先端のパフォーマンスを実証する。
論文 参考訳（メタデータ） (2024-01-26T14:54:56Z) - Upgrading VAE Training With Unlimited Data Plans Provided by Diffusion
Models [12.542073306638988]
VAEにおけるオーバーフィッティングエンコーダは,事前学習した拡散モデルからのサンプルのトレーニングによって効果的に緩和できることを示す。
提案手法を用いて学習したVAEの一般化性能,償却ギャップ,ロバスト性を3つの異なるデータセットで解析した。
論文 参考訳（メタデータ） (2023-10-30T15:38:39Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳（メタデータ） (2022-10-05T09:17:27Z) - Direct Molecular Conformation Generation [217.4815525740703]
本稿では,原子の座標を直接予測する手法を提案する。
提案手法は,4つの公開ベンチマークの最先端結果を実現する。
論文 参考訳（メタデータ） (2022-02-03T01:01:58Z) - Datamodels: Predicting Predictions from Training Data [86.66720175866415]
本稿では,モデルクラスの振る舞いを学習データの観点から分析するための概念的枠組みであるデータモデリングについて述べる。
単純な線形データモデルであっても、モデル出力をうまく予測できることが示される。
論文 参考訳（メタデータ） (2022-02-01T18:15:24Z) - The Story in Your Eyes: An Individual-difference-aware Model for
Cross-person Gaze Estimation [24.833385815585405]
本研究では,人物別差分を明示的にモデル化することで,人物間視線予測タスクを目/顔画像で精査する手法を提案する。
具体的には、まず既存の手法を用いて、InitNetと呼ばれる早期の視線予測結果が得られると仮定する。
我々は,EVE,XGaze,MPIIGazeの3つの公開データセットに対して提案手法の有効性を検証し,提案手法がSOTA法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-06-27T10:14:10Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - Knowledge Generation -- Variational Bayes on Knowledge Graphs [0.685316573653194]
この論文は、現実世界の知識グラフの表現に関するVari Auto-Encoder (VAE) の概念実証である。
生成グラフへのアプローチの成功に触発されて,本モデルである変分オートエンコーダ(rgvae)の能力を評価する。
RGVAEはリンク予測に基づいて評価される。
2つのFB15K-237およびWN18RRデータセットの平均相互ランク(MRR)スコアを比較します。
2次実験における潜伏空間について検討する:まず、2つの三重項の潜伏表現の間の線型、そして各三重項の探索
論文 参考訳（メタデータ） (2021-01-21T21:23:17Z) - The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。
我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。
3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
論文 参考訳（メタデータ） (2020-04-16T04:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。