論文の概要: Making Graph Neural Networks Worth It for Low-Data Molecular Machine
Learning
- arxiv url: http://arxiv.org/abs/2011.12203v1
- Date: Tue, 24 Nov 2020 16:52:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 12:25:28.428129
- Title: Making Graph Neural Networks Worth It for Low-Data Molecular Machine
Learning
- Title（参考訳）: 低データ分子機械学習にグラフニューラルネットワークを価値あるものにする
- Authors: Aneesh Pappu, Brooks Paige
- Abstract要約: グラフニューラルネットワークが小さなデータ設定で競合するかどうかを,パラメトリックな「キーパー」代替指紋法と比較して検討する。
我々は,MAMLとFO-MAMLが,指紋に基づくモデルよりも優れたグラフニューラルネットワークを実現することを発見した。
従来の研究とは対照的に、ANILは、この分子設定における他のメタラーニングアプローチよりもパフォーマンスが悪くなっている。
- 参考スコア（独自算出の注目度）: 15.251466525698627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks have become very popular for machine learning on
molecules due to the expressive power of their learnt representations. However,
molecular machine learning is a classically low-data regime and it isn't clear
that graph neural networks can avoid overfitting in low-resource settings. In
contrast, fingerprint methods are the traditional standard for low-data
environments due to their reduced number of parameters and manually engineered
features. In this work, we investigate whether graph neural networks are
competitive in small data settings compared to the parametrically 'cheaper'
alternative of fingerprint methods. When we find that they are not, we explore
pretraining and the meta-learning method MAML (and variants FO-MAML and ANIL)
for improving graph neural network performance by transfer learning from
related tasks. We find that MAML and FO-MAML do enable the graph neural network
to outperform models based on fingerprints, providing a path to using graph
neural networks even in settings with severely restricted data availability. In
contrast to previous work, we find ANIL performs worse that other meta-learning
approaches in this molecule setting. Our results suggest two reasons: molecular
machine learning tasks may require significant task-specific adaptation, and
distribution shifts in test tasks relative to train tasks may contribute to
worse ANIL performance.
- Abstract（参考訳）: グラフニューラルネットワークは、その学習表現の表現力によって、分子の機械学習に非常に人気がある。
しかし、分子機械学習は古典的に低データ構造であり、低リソース環境でグラフニューラルネットワークが過度に適合することを避けることは明らかではない。
対照的に、フィンガーメソッドはパラメータの減少と手動で設計した特徴のため、低データ環境の伝統的な標準である。
本研究では,グラフニューラルネットワークが指紋法に代わるパラメトリックな「キーパー」よりも小さなデータ設定で競合するかどうかを検討する。
それらがそうでないと分かったとき、関連するタスクからの伝達学習によってグラフニューラルネットワークの性能を向上させるための事前学習法とメタラーニング法(および変種FO-MAMLとANIL)を検討する。
我々は、MAMLとFO-MAMLがグラフニューラルネットワークを指紋に基づくモデルよりも優れており、厳格に制限されたデータ可用性を持つ設定でもグラフニューラルネットワークを使用するための経路を提供する。
従来の研究とは対照的に、ANILは、この分子設定における他のメタラーニングアプローチよりもパフォーマンスが悪くなっている。
分子機械学習タスクはタスク固有の適応を必要とする可能性があり, トレーニングタスクに対するテストタスクの分散シフトは, エラーパフォーマンスの悪化に寄与する可能性がある。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。
GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
論文 参考訳（メタデータ） (2023-12-07T18:21:52Z) - Unlearning Graph Classifiers with Limited Data Resources [39.29148804411811]
制御されたデータ削除は、データに敏感なWebアプリケーションのための機械学習モデルの重要機能になりつつある。
グラフニューラルネットワーク(GNN)の効率的な機械学習を実現する方法はまだほとんど知られていない。
我々の主な貢献は GST に基づく非線形近似グラフアンラーニング法である。
第2の貢献は、提案した未学習機構の計算複雑性の理論解析である。
第3のコントリビューションは広範囲なシミュレーションの結果であり、削除要求毎のGNNの完全再トレーニングと比較して、新しいGSTベースのアプローチは平均10.38倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2022-11-06T20:46:50Z) - Graph Neural Networks with Trainable Adjacency Matrices for Fault
Diagnosis on Multivariate Sensor Data [69.25738064847175]
各センサの信号の挙動を別々に検討し,相互の相関関係と隠れ関係を考慮する必要がある。
グラフノードは、異なるセンサーからのデータとして表現することができ、エッジは、これらのデータの影響を互いに表示することができる。
グラフニューラルネットワークのトレーニング中にグラフを構築する方法が提案されている。これにより、センサー間の依存関係が事前に分かっていないデータ上でモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2022-10-20T11:03:21Z) - Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。
提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-10-31T18:35:10Z) - Training Graph Neural Networks by Graphon Estimation [2.5997274006052544]
本稿では,基礎となるネットワークデータから得られたグラフトン推定値から再サンプリングすることで,グラフニューラルネットワークをトレーニングする。
我々のアプローチは競争力があり、多くの場合、他の過度にスムースなGNNトレーニング手法よりも優れています。
論文 参考訳（メタデータ） (2021-09-04T19:21:48Z) - Weakly-supervised Graph Meta-learning for Few-shot Node Classification [53.36828125138149]
新しいグラフメタ学習フレームワーク - Graph Hallucination Networks (Meta-GHN) を提案する。
新たなロバストネス強化エピソードトレーニングに基づいて、Meta-GHNは、弱いラベル付きデータからクリーンノード表現を幻覚させるメタ学習を行う。
大規模な実験は、既存のグラフメタ学習研究よりもMeta-GHNの方が優れていることを示す。
論文 参考訳（メタデータ） (2021-06-12T22:22:10Z) - Variational models for signal processing with Graph Neural Networks [3.5939555573102853]
本稿では,ニューラルネットワークを用いた点雲の信号処理について述べる。
本研究では,このようなグラフニューラルネットワークの変分モデルを用いて,教師なし学習のためのグラフ上の信号を処理する方法を検討する。
論文 参考訳（メタデータ） (2021-03-30T13:31:11Z) - E(n) Equivariant Graph Neural Networks [86.75170631724548]
本稿では,E(n)-Equivariant Graph Neural Networks (EGNNs) と呼ばれる回転,翻訳,反射,置換に等価なグラフニューラルネットワークを学習する新しいモデルを提案する。
既存の手法とは対照的に、私たちの仕事は計算的に高価な中間層における高階表現を必要としません。
論文 参考訳（メタデータ） (2021-02-19T10:25:33Z) - From Boltzmann Machines to Neural Networks and Back Again [31.613544605376624]
制限ボルツマンマシン(Restricted Boltzmann Machines)は、おそらく最もよく研究されている潜在変数モデルのクラスである。
我々の結果は、$ell_infty$bounded inputの下で二層ニューラルネットワークを学習するための新しい接続に基づいている。
次に,分散仮定を使わずに,関連するネットワークのクラスに対して可能なものよりも,より優れたランタイムで教師付きRAMの自然なクラスを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-25T00:42:50Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。