論文の概要: Does GNN Pretraining Help Molecular Representation?

• arxiv url: http://arxiv.org/abs/2207.06010v1
• Date: Wed, 13 Jul 2022 07:34:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 15:28:04.382586
• Title: Does GNN Pretraining Help Molecular Representation?
• Title（参考訳）: GNNプレトレーニングは分子表現に役立つか?
• Authors: Ruoxi Sun
• Abstract要約: 自己教師付きグラフ事前学習は、多くの設定において非事前学習法に対して統計的に有意な優位性を持たない。 追加の教師付き事前トレーニングでは改善が観察できるが、よりリッチな機能やバランスの取れたデータ分割によって改善は減少する可能性がある。 我々は、分子の事前学習の複雑さが不十分であり、下流のタスクに対する伝達可能な知識が少なくなると仮定する。
• 参考スコア（独自算出の注目度）: 5.5459878275267736
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Extracting informative representations of molecules using Graph neural networks (GNNs) is crucial in AI-driven drug discovery. Recently, the graph research community has been trying to replicate the success of self-supervised pretraining in natural language processing, with several successes claimed. However, we find the benefit brought by self-supervised pretraining on molecular data can be negligible in many cases. We conduct thorough ablation studies on the key components of GNN pretraining, including pretraining objectives, data splitting methods, input features, pretraining dataset scales, and GNN architectures, in deciding the accuracy of the downstream tasks. Our first important finding is, self-supervised graph pretraining do not have statistically significant advantages over non-pretraining methods in many settings. Second, although improvement can be observed with additional supervised pretraining, the improvement may diminish with richer features or more balanced data splits. Third, experimental hyper-parameters have a larger impact on accuracy of downstream tasks than the choice of pretraining tasks. We hypothesize the complexity of pretraining on molecules is insufficient, leading to less transferable knowledge for downstream tasks.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)を用いた分子の情報表現の抽出は、AIによる薬物発見に不可欠である。 最近、グラフ研究コミュニティは、自然言語処理における自己教師付き事前学習の成功を再現しようと試みており、いくつかの成功が主張されている。 しかし, 分子データに対する自己教師付き事前学習によって得られる利点は, 多くの場合, 無視できることがわかった。 本稿では,gnnプリトレーニングの重要な構成要素である事前学習目標,データ分割手法,入力特徴,データセットの事前学習スケール,gnnアーキテクチャについて,下流タスクの正確性を決定するための徹底的なアブレーション研究を行う。 最初の重要な発見は、自己教師付きグラフ事前学習は、多くの設定において非事前学習法に対して統計的に有意なアドバンテージを持たないことである。 第二に、追加の教師付き事前トレーニングで改善が観察できるが、よりリッチな機能やよりバランスの取れたデータ分割によって改善が減少する可能性がある。 第3に、実験的なハイパーパラメータは、事前トレーニングタスクの選択よりも下流タスクの精度に大きな影響を与える。 分子の事前学習の複雑さは不十分であり、下流タスクの知識の伝達が容易でないと仮定する。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Delayed Bottlenecking: Alleviating Forgetting in Pre-trained Graph Neural Networks [19.941727879841142]
  本稿では,新しいアンダーラインDelayed UnderlineBottlenecking UnderlinePre-trainingフレームワークを提案する。 トレーニング前の段階では、潜在表現とトレーニングデータの間の可能な限りの相互情報を保持する。
  論文  参考訳（メタデータ） (2024-04-23T11:35:35Z)
• Transfer Learning for Molecular Property Predictions from Small Data Sets [0.0]
  2つの小さなデータセット上での分子特性の予測のために、一般的な機械学習モデルをベンチマークする。 本稿では,大規模なデータセットを用いて各モデルを事前学習し,元のデータセットを微調整した上で,より正確なモデルを得ることができる転送学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-20T14:25:34Z)
• Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks [39.71761440499148]
  グラフニューラルネットワーク(GNN)の事前トレーニングは、ラベルのないデータで下流タスクの転送可能な知識を学ぶことを目的としている。 より少ないが慎重に選択されたデータはGNNモデルに入力される。 実験の結果,提案手法により,より少ないトレーニングデータとより優れたダウンストリーム性能を有する効率的な事前学習モデルが得られることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T07:09:59Z)
• Examining the Effect of Pre-training on Time Series Classification [21.38211396933795]
  本研究では, プレトレーニング後の微調整が微調整過程に及ぼす影響について検討した。 150の分類データセットを網羅的に検討した。 事前学習は、データに適合しないモデルの最適化プロセスを改善するのにしか役立ちません。 事前学習データを追加することで一般化は向上しないが、元のデータボリュームの事前学習の利点を強化することができる。
  論文  参考訳（メタデータ） (2023-09-11T06:26:57Z)
• DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
  ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。 本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。 我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-25T08:16:21Z)
• Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
  本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。 近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
  論文  参考訳（メタデータ） (2022-05-31T22:28:34Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。