論文の概要: Meta-Learning GNN Initializations for Low-Resource Molecular Property Prediction

• arxiv url: http://arxiv.org/abs/2003.05996v2
• Date: Fri, 17 Jul 2020 20:53:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 14:12:22.542049
• Title: Meta-Learning GNN Initializations for Low-Resource Molecular Property Prediction
• Title（参考訳）: 低リソース分子特性予測のためのメタラーニングGNN初期化
• Authors: Cuong Q. Nguyen, Constantine Kreatsoulas, and Kim M. Branson
• Abstract要約: モデル非依存メタラーニング(MAML)アルゴリズムにより学習したグラフニューラルネットワークの初期化の化学特性および活動タスクへの伝達性を評価する。 低リソース設定をエミュレートするためにChEMBL20データセットを使用して、我々のベンチマークは、メタ初期化がマルチタスク事前学習ベースラインと互換性があるか、あるいは性能が優れていることを示している。 最後に、メタ初期化は16, 32, 64, 18, 256$インスタンスで$kの微調整セットをまたいだ最高のパフォーマンスモデルをもたらすことを観察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Building in silico models to predict chemical properties and activities is a crucial step in drug discovery. However, limited labeled data often hinders the application of deep learning in this setting. Meanwhile advances in meta-learning have enabled state-of-the-art performances in few-shot learning benchmarks, naturally prompting the question: Can meta-learning improve deep learning performance in low-resource drug discovery projects? In this work, we assess the transferability of graph neural networks initializations learned by the Model-Agnostic Meta-Learning (MAML) algorithm - and its variants FO-MAML and ANIL - for chemical properties and activities tasks. Using the ChEMBL20 dataset to emulate low-resource settings, our benchmark shows that meta-initializations perform comparably to or outperform multi-task pre-training baselines on 16 out of 20 in-distribution tasks and on all out-of-distribution tasks, providing an average improvement in AUPRC of 11.2% and 26.9% respectively. Finally, we observe that meta-initializations consistently result in the best performing models across fine-tuning sets with $k \in \{16, 32, 64, 128, 256\}$ instances.
• Abstract（参考訳）: 化学特性と活性を予測するシリコモデルの構築は、薬物発見の重要なステップである。 しかし、ラベル付きデータの制限は、この環境でのディープラーニングの適用を妨げることが多い。 一方、メタラーニングの進歩は、少数の学習ベンチマークで最先端のパフォーマンスを実現し、自然に疑問を提起している: ローリソースの薬物発見プロジェクトでは、メタラーニングはディープラーニングのパフォーマンスを改善することができるか? 本研究では, モデル非依存メタラーニング (MAML) アルゴリズムとその変種FO-MAMLとANILにより学習したグラフニューラルネットワークの初期化の, 化学的特性および活動タスクに対する伝達性を評価する。 chembl20データセットを使用して低リソース設定をエミュレートするベンチマークでは、メタ初期化は、20の分散タスクのうち16のベースラインとすべての分散タスクで比較可能または比較可能であり、それぞれ11.2%と26.9%のauprcで平均改善が得られた。 最後に、メタ初期化は一貫して、$k \in \{16, 32, 64, 128, 256\}$インスタンスの微調整セットをまたいで最高のパフォーマンスモデルとなることを観察する。

関連論文リスト

• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Machine Learning Small Molecule Properties in Drug Discovery [44.62264781248437]
  我々は, 結合親和性, 溶解性, ADMET (吸収, 分布, 代謝, 排出, 毒性) を含む幅広い特性について検討する。 化学指紋やグラフベースニューラルネットワークなど,既存の一般的な記述子や埋め込みについて論じる。 最後に、モデル予測の理解を提供する技術、特に薬物発見における重要な意思決定について評価する。
  論文  参考訳（メタデータ） (2023-08-02T22:18:41Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• Improving Meta-Learning Generalization with Activation-Based Early-Stopping [12.299371455015239]
  数ショットの学習のためのメタラーニングアルゴリズムは、少数の例だけで新しいタスクに一般化できるニューラルネットワークを訓練することを目的としている。 早期停止は、新しいタスク分布に最適な一般化に達すると、モデルトレーニングを停止させる。 これは、メタテストセットが異なるターゲットデータセットから来る、数ショットの転送学習設定で問題となる。
  論文  参考訳（メタデータ） (2022-08-03T22:55:45Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• Curriculum in Gradient-Based Meta-Reinforcement Learning [10.447238563837173]
  勾配に基づくメタラーナーはタスク分布に敏感であることを示す。 間違ったカリキュラムでは、エージェントはメタオーバーフィッティング、浅い適応、適応不安定の影響を被る。
  論文  参考訳（メタデータ） (2020-02-19T01:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。