論文の概要: How Do Graph Networks Generalize to Large and Diverse Molecular Systems?
- arxiv url: http://arxiv.org/abs/2204.02782v1
- Date: Wed, 6 Apr 2022 12:52:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-07 20:08:52.866466
- Title: How Do Graph Networks Generalize to Large and Diverse Molecular Systems?
- Title（参考訳）: グラフネットワークは大規模分子系にどのように一般化するか?
- Authors: Johannes Gasteiger, Muhammed Shuaibi, Anuroop Sriram, Stephan
G\"unnemann, Zachary Ulissi, C. Lawrence Zitnick, Abhishek Das
- Abstract要約: 多くのデータセットが不足している複雑さの4つの側面を特定します。
本稿では,従来のOC20の最先端性能を16%向上させるGemNet-OCモデルを提案する。
我々の発見は、グラフニューラルネットワークがデータセットのサイズと多様性から同じように独立して機能するという共通の信念に挑戦する。
- 参考スコア（独自算出の注目度）: 10.690849483282564
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The predominant method of demonstrating progress of atomic graph neural
networks are benchmarks on small and limited datasets. The implicit hypothesis
behind this approach is that progress on these narrow datasets generalize to
the large diversity of chemistry. This generalizability would be very helpful
for research, but currently remains untested. In this work we test this
assumption by identifying four aspects of complexity in which many datasets are
lacking: 1. Chemical diversity (number of different elements), 2. system size
(number of atoms per sample), 3. dataset size (number of data samples), and 4.
domain shift (similarity of the training and test set). We introduce multiple
subsets of the large Open Catalyst 2020 (OC20) dataset to independently
investigate each of these aspects. We then perform 21 ablation studies and
sensitivity analyses on 9 datasets testing both previously proposed and new
model enhancements. We find that some improvements are consistent between
datasets, but many are not and some even have opposite effects. Based on this
analysis, we identify a smaller dataset that correlates well with the full OC20
dataset, and propose the GemNet-OC model, which outperforms the previous
state-of-the-art on OC20 by 16%, while reducing training time by a factor of
10. Overall, our findings challenge the common belief that graph neural
networks work equally well independent of dataset size and diversity, and
suggest that caution must be exercised when making generalizations based on
narrow datasets.
- Abstract（参考訳）: 原子グラフニューラルネットワークの進歩を示す主要な方法は、小さくて限られたデータセットのベンチマークである。
このアプローチの背後にある暗黙の仮説は、これらの狭いデータセットの進歩が化学の大きな多様性に一般化するということである。
この一般化性は研究に非常に役立つが、現在はまだ検証されていない。
この研究では、多くのデータセットが欠けている複雑さの4つの側面を特定することで、この仮定をテストする。
1.化学多様性(異なる元素の数)
2. システムサイズ(サンプル当たりの原子数)
3.データセットのサイズ(データサンプル数)、
4. ドメインシフト(トレーニングとテストセットの類似性)。
それぞれの側面を独立して調査するために、大きなOpen Catalyst 2020 (OC20)データセットの複数のサブセットを紹介します。
次に、従来提案されていた9つのデータセットと新しいモデル拡張を比較検討し、21のアブレーション研究と感度分析を行った。
いくつかの改善はデータセット間で一貫性があるが、多くはそうではなく、一部は反対の効果を持っている。
この分析から,全OC20データセットと相関する小さなデータセットを特定し,従来のOC20の最先端を16%上回り,トレーニング時間を10倍に短縮するGemNet-OCモデルを提案する。
全体として,グラフニューラルネットワークはデータセットのサイズや多様性とは無関係に機能する,という一般的な信念に挑戦し,狭いデータセットに基づいた一般化には注意が必要であることを示唆した。
関連論文リスト
- UniTraj: A Unified Framework for Scalable Vehicle Trajectory Prediction [93.77809355002591]
さまざまなデータセット、モデル、評価基準を統一する包括的なフレームワークであるUniTrajを紹介する。
我々は広範な実験を行い、他のデータセットに転送するとモデルの性能が大幅に低下することがわかった。
これらの知見を説明するために,データセットの特徴に関する洞察を提供する。
論文 参考訳（メタデータ） (2024-03-22T10:36:50Z) - DaFoEs: Mixing Datasets towards the generalization of vision-state
deep-learning Force Estimation in Minimally Invasive Robotic Surgery [6.55111164866752]
深部神経モデルのトレーニングを行うために,様々なソフト環境を持つ新しい視覚触覚データセット(DaFoEs)を提案する。
また,単一入力や入力シーケンスを用いて腹腔鏡ツールが行う力を予測するための可変エンコーダデコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-01-17T14:39:55Z) - Replication: Contrastive Learning and Data Augmentation in Traffic
Classification Using a Flowpic Input Representation [47.95762911696397]
同じデータセット上で[16]を再現し、3つの追加の公開データセット上で最も健全なアスペクト(データ拡張の重要性)を複製します。
元の結果のほとんどを確認できたが、元のデータセットにデータシフトがあったため、調査されたシナリオの20%の精度低下が判明した。
論文 参考訳（メタデータ） (2023-09-18T12:55:09Z) - Kernel Regression with Infinite-Width Neural Networks on Millions of
Examples [27.408712993696213]
我々は,CIFAR-5mデータセットにおいて,数個のニューラルネットワークのスケール法則について検討した。
テスト精度は91.2%(純粋なカーネル法ではSotA)である。
論文 参考訳（メタデータ） (2023-03-09T17:11:31Z) - Ensemble Machine Learning Model Trained on a New Synthesized Dataset
Generalizes Well for Stress Prediction Using Wearable Devices [3.006016887654771]
本研究では,少数の被験者を含むデータセット上に構築されたモデルの一般化能力について検討した。
本研究では,新たな未知のデータに対する予測パワーを測定するために,勾配押し上げと人工ニューラルネットワークを組み合わせたアンサンブル手法を提案する。
論文 参考訳（メタデータ） (2022-09-30T00:20:57Z) - Condensing Graphs via One-Step Gradient Matching [50.07587238142548]
ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。
我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。
特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
論文 参考訳（メタデータ） (2022-06-15T18:20:01Z) - Efficient Analysis of COVID-19 Clinical Data using Machine Learning
Models [0.0]
膨大な量のデータとケーススタディが公開されており、研究者がトレンドを見つけるユニークな機会を提供している。
機械学習ベースのアルゴリズムをこのビッグデータに適用することは、この目的を達成するための自然なアプローチである。
効率的な特徴選択アルゴリズムにより,ほとんどの場合,90%以上の予測精度が得られることを示す。
論文 参考訳（メタデータ） (2021-10-18T20:06:01Z) - Networked Time Series Prediction with Incomplete Data [59.45358694862176]
我々は、歴史と未来の両方で欠落した値を持つ不完全なデータでトレーニングできる新しいディープラーニングフレームワークであるNetS-ImpGANを提案する。
3つの実世界のデータセットに対して、異なるパターンと欠落率で広範な実験を行う。
論文 参考訳（メタデータ） (2021-10-05T18:20:42Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳（メタデータ） (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。