論文の概要: GNN-SKAN: Harnessing the Power of SwallowKAN to Advance Molecular Representation Learning with GNNs
- arxiv url: http://arxiv.org/abs/2408.01018v2
- Date: Wed, 21 Aug 2024 14:37:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 21:46:26.833694
- Title: GNN-SKAN: Harnessing the Power of SwallowKAN to Advance Molecular Representation Learning with GNNs
- Title（参考訳）: GNN-SKAN:SwallowKANの力とGNNによる分子表現学習の促進
- Authors: Ruifeng Li, Mingqian Li, Wei Liu, Hongyang Chen,
- Abstract要約: 我々は、KAN(Kolmogorov-Arnold Networks)を統合したGNNの新しいクラスを導入する。
Kanは、その堅牢なデータ適合能力と、小規模AI + Scienceタスクの高精度で知られている。
本稿では,新たなクラスであるGNN-SKANと,その拡張型であるGNN-SKAN+を提案する。
- 参考スコア（独自算出の注目度）: 19.019980841275366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective molecular representation learning is crucial for advancing molecular property prediction and drug design. Mainstream molecular representation learning approaches are based on Graph Neural Networks (GNNs). However, these approaches struggle with three significant challenges: insufficient annotations, molecular diversity, and architectural limitations such as over-squashing, which leads to the loss of critical structural details. To address these challenges, we introduce a new class of GNNs that integrates the Kolmogorov-Arnold Networks (KANs), known for their robust data-fitting capabilities and high accuracy in small-scale AI + Science tasks. By incorporating KANs into GNNs, our model enhances the representation of molecular structures. We further advance this approach with a variant called SwallowKAN (SKAN), which employs adaptive Radial Basis Functions (RBFs) as the core of the non-linear neurons. This innovation improves both computational efficiency and adaptability to diverse molecular structures. Building on the strengths of SKAN, we propose a new class of GNNs, GNN-SKAN, and its augmented variant, GNN-SKAN+, which incorporates a SKAN-based classifier to further boost performance. To our knowledge, this is the first work to integrate KANs into GNN architectures tailored for molecular representation learning. Experiments across 6 classification datasets, 6 regression datasets, and 4 few-shot learning datasets demonstrate that our approach achieves new state-of-the-art performance in terms of accuracy and computational cost.
- Abstract（参考訳）: 効果的な分子表現学習は、分子特性予測と薬物設計の進歩に不可欠である。
メインストリームの分子表現学習アプローチはグラフニューラルネットワーク(GNN)に基づいている。
しかし、これらのアプローチは、不十分なアノテーション、分子多様性、過剰な監視のようなアーキテクチャ上の制限という3つの重要な課題に苦しむため、重要な構造的詳細が失われる。
これらの課題に対処するため、我々はKAN(Kolmogorov-Arnold Networks)を統合したGNNの新たなクラスを導入しました。
カンをGNNに組み込むことで,分子構造の表現が促進される。
我々はさらに、非線型ニューロンのコアとして適応的放射基底関数(RBF)を用いるSwaallowKAN(SKAN)と呼ばれる変種を用いてこのアプローチを進めた。
この革新は、計算効率と多様な分子構造への適応性の両方を改善する。
SKANの強みを生かして,新たなGNNクラスであるGNN-SKANと,その拡張型であるGNN-SKAN+を提案する。
我々の知る限り、分子表現学習に適したGNNアーキテクチャにKansを統合する最初の試みである。
6つの分類データセット、6つの回帰データセット、および4つの数ショットの学習データセットに対する実験は、我々のアプローチが精度と計算コストの観点から新しい最先端のパフォーマンスを達成することを示す。
関連論文リスト
- Neural P$^3$M: A Long-Range Interaction Modeling Enhancer for Geometric
GNNs [66.98487644676906]
我々は,幾何学的GNNの汎用エンハンサーであるNeural P$3$Mを導入し,その機能範囲を拡大する。
幅広い分子系に柔軟性を示し、エネルギーと力を予測する際、顕著な精度を示す。
また、さまざまなアーキテクチャを統合しながら、OE62データセットで平均22%の改善も達成している。
論文 参考訳（メタデータ） (2024-09-26T08:16:59Z) - Accelerating Molecular Graph Neural Networks via Knowledge Distillation [1.9116784879310031]
グラフニューラルネットワーク(GNN)の最近の進歩は、分子や分子系のより包括的なモデリングを可能にしている。
この分野は、より大規模で複雑なアーキテクチャへと進展しているため、最先端のGNNは、多くの大規模アプリケーションでほとんど禁止されている。
我々は, 方向性および同変GNNにおける隠れ表現の蒸留を容易にするKD戦略を考案し, エネルギー・力予測の回帰タスクにおけるその性能を評価する。
論文 参考訳（メタデータ） (2023-06-26T16:24:31Z) - HiGNN: Hierarchical Informative Graph Neural Networks for Molecular
Property Prediction Equipped with Feature-Wise Attention [5.735627221409312]
分子特性を予測するための階層型情報グラフニューラルネットワークフレームワーク(HiGNN)を提案する。
実験により、HiGNNは、多くの挑戦的な薬物発見関連ベンチマークデータセットに対して最先端の予測性能を達成することが示された。
論文 参考訳（メタデータ） (2022-08-30T05:16:15Z) - Graph neural networks for the prediction of molecular structure-property
relationships [59.11160990637615]
グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。
GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。
本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
論文 参考訳（メタデータ） (2022-07-25T11:30:44Z) - Image-Like Graph Representations for Improved Molecular Property
Prediction [7.119677737397071]
本稿では,CubeMol と呼ばれる GNN の必要性を完全に回避する,新しい固有分子表現法を提案する。
我々の定次元表現は、トランスモデルと組み合わせると、最先端のGNNモデルの性能を超え、拡張性を提供する。
論文 参考訳（メタデータ） (2021-11-20T22:39:11Z) - Evolutionary Architecture Search for Graph Neural Networks [23.691915813153496]
本稿では,大規模グラフニューラルネットワーク(GNN)アーキテクチャ空間における個々のモデルの進化を通じて,新しいAutoMLフレームワークを提案する。
我々の知る限りでは、GNNモデルの進化的アーキテクチャ探索を導入し、評価する最初の試みである。
論文 参考訳（メタデータ） (2020-09-21T22:11:53Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳（メタデータ） (2020-09-13T21:12:20Z) - Graph Neural Network Architecture Search for Molecular Property
Prediction [1.0965065178451106]
分子特性予測のためのグラフニューラルネットワーク(GNN)の設計と開発を自動化するNAS手法を開発した。
具体的には、量子力学および物理化学データセットにおける小分子の分子特性を予測するために、メッセージパッシングニューラルネットワーク(MPNN)の自動開発に焦点を当てる。
論文 参考訳（メタデータ） (2020-08-27T15:30:57Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
分子表現学習のための新しいフレームワークGROVERを提案する。
GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。
分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
論文 参考訳（メタデータ） (2020-06-18T08:37:04Z) - Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。
MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。
我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
論文 参考訳（メタデータ） (2020-05-17T04:46:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。