論文の概要: $\texttt{MiniMol}$: A Parameter-Efficient Foundation Model for Molecular Learning
- arxiv url: http://arxiv.org/abs/2404.14986v1
- Date: Tue, 23 Apr 2024 12:43:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 14:01:50.130649
- Title: $\texttt{MiniMol}$: A Parameter-Efficient Foundation Model for Molecular Learning
- Title（参考訳）: $\texttt{MiniMol}$:分子学習のためのパラメータ効率の良い基礎モデル
- Authors: Kerstin Kläser, Błażej Banaszewski, Samuel Maddrell-Mander, Callum McLean, Luis Müller, Ali Parviz, Shenyang Huang, Andrew Fitzgibbon,
- Abstract要約: $texttMiniMol$は1000万のパラメータを持つ分子学習の基礎モデルである。
$texttMiniMol$は大まかに定義された約3300のグラフレベルのタスクと、量子的および生物学的な両方のノードレベルのタスクで事前訓練される。
- 参考スコア（独自算出の注目度）: 1.9382840665522667
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In biological tasks, data is rarely plentiful as it is generated from hard-to-gather measurements. Therefore, pre-training foundation models on large quantities of available data and then transfer to low-data downstream tasks is a promising direction. However, how to design effective foundation models for molecular learning remains an open question, with existing approaches typically focusing on models with large parameter capacities. In this work, we propose $\texttt{MiniMol}$, a foundational model for molecular learning with 10 million parameters. $\texttt{MiniMol}$ is pre-trained on a mix of roughly 3300 sparsely defined graph- and node-level tasks of both quantum and biological nature. The pre-training dataset includes approximately 6 million molecules and 500 million labels. To demonstrate the generalizability of $\texttt{MiniMol}$ across tasks, we evaluate it on downstream tasks from the Therapeutic Data Commons (TDC) ADMET group showing significant improvements over the prior state-of-the-art foundation model across 17 tasks. $\texttt{MiniMol}$ will be a public and open-sourced model for future research.
- Abstract（参考訳）: 生物学的タスクでは、データはハード・トゥ・ギャザーの測定から生成されるため、稀に豊富である。
したがって、利用可能な大量のデータに基づいて事前学習した基礎モデルを、低データ下流タスクに転送することは有望な方向である。
しかし、分子学習のための効果的な基礎モデルをどう設計するかは未解決の問題であり、既存のアプローチは一般に大きなパラメータ容量を持つモデルに焦点を当てている。
本研究では,1000万個のパラメータを持つ分子学習の基礎モデルである$\texttt{MiniMol}$を提案する。
$\texttt{MiniMol}$は大まかに定義された約3300のグラフと、量子的および生物学的性質のノードレベルのタスクで事前訓練される。
事前学習データセットには、約600万の分子と5億のラベルが含まれている。
タスク間の$\texttt{MiniMol}$の一般化性を実証するため、Therapeutic Data Commons (TDC) ADMETグループから下流タスクで評価し、17タスクにわたる先行技術基盤モデルよりも大幅に改善したことを示す。
$\texttt{MiniMol}$は、将来の研究のための公開およびオープンソースモデルである。
関連論文リスト
- FINE: Factorizing Knowledge for Initialization of Variable-sized Diffusion Models [35.40065954148091]
FINEはLearngeneフレームワークに基づく、事前訓練されたモデルを利用した下流ネットワークの初期化手法である。
事前学習された知識を行列の積(例えば$U$, $Sigma$, $V$)に分解する。
これは、特により小さなモデルにおいて、直接事前訓練よりも一貫して優れており、可変モデルのサイズで最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-09-28T08:57:17Z) - MolecularGPT: Open Large Language Model (LLM) for Few-Shot Molecular Property Prediction [20.92779223471019]
数発の分子特性予測のための分子GPTを提案する。
10のダウンストリーム評価データセットで競合するコンテキスト内推論機能を示す。
また、最先端のLCMベースラインを最大15.7%増加させ、ゼロショット下の回帰指標(例えばRMSE)で17.9減少させる。
論文 参考訳（メタデータ） (2024-06-18T12:54:47Z) - Towards Foundational Models for Molecular Learning on Large-Scale
Multi-Task Datasets [42.401713168958445]
ToyMix, LargeMix, UltraLargeの3つのカテゴリに分類される。
これらのデータセットは、分子学習のための教師付きラベルのスケールと多様性の両方の境界を押し上げます。
また,提案したデータセットに基づく基礎モデルの開発を支援するため,Graphiumグラフ機械学習ライブラリを提案する。
論文 参考訳（メタデータ） (2023-10-06T14:51:17Z) - Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。
具体的には、Webで収集したCoyo-700Mデータセットを利用する。
我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
論文 参考訳（メタデータ） (2023-05-24T15:33:46Z) - Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [66.18478838828231]
マルチモーダルな事前訓練型大型モデルは近年ますます注目を集めている。
本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来の深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・
次に,マルチモーダル・プレトレーニング・モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワーク,知識強化による事前トレーニングに着目して,MM-PTMについて議論する。
論文 参考訳（メタデータ） (2023-02-20T15:34:03Z) - MolE: a molecular foundation model for drug discovery [0.2802437011072858]
MolEは分子基盤モデルであり、DeBERTaアーキテクチャを分子グラフに適応させる。
Therapeutic Data Commons に含まれる 22 の ADMET タスクのうち 9 つのタスクに対して, 微調整プリトレーニングした MolE が最先端の結果を得ることを示す。
論文 参考訳（メタデータ） (2022-11-03T21:22:05Z) - Data-Efficient Graph Grammar Learning for Molecular Generation [41.936515793383]
本稿では,一般的なベンチマークよりも小さなサイズのデータセットから学習可能な,データ効率のよい生成モデルを提案する。
学習したグラフ文法は、3つのモノマーデータセットに対して高品質な分子を生成するための最先端の結果をもたらす。
また, 本手法は, トレーニングサンプル117ドルで, 難易度の高いポリマー生成タスクにおいて, 顕著な性能を実現している。
論文 参考訳（メタデータ） (2022-03-15T16:14:30Z) - Datamodels: Predicting Predictions from Training Data [86.66720175866415]
本稿では,モデルクラスの振る舞いを学習データの観点から分析するための概念的枠組みであるデータモデリングについて述べる。
単純な線形データモデルであっても、モデル出力をうまく予測できることが示される。
論文 参考訳（メタデータ） (2022-02-01T18:15:24Z) - An Experimental Design Perspective on Model-Based Reinforcement Learning [73.37942845983417]
環境からの状態遷移を観察するのは費用がかかる。
標準RLアルゴリズムは通常、学習するために多くの観測を必要とする。
本稿では,マルコフ決定過程について,状態-作用対がどの程度の情報を提供するかを定量化する獲得関数を提案する。
論文 参考訳（メタデータ） (2021-12-09T23:13:57Z) - Exploring Sparse Expert Models and Beyond [51.90860155810848]
Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。
本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。
この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
論文 参考訳（メタデータ） (2021-05-31T16:12:44Z) - Sample Efficient Linear Meta-Learning by Alternating Minimization [74.40553081646995]
低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。
定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。
MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
論文 参考訳（メタデータ） (2021-05-18T06:46:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。