論文の概要: GNN-SKAN: Harnessing the Power of SwallowKAN to Advance Molecular Representation Learning with GNNs
- arxiv url: http://arxiv.org/abs/2408.01018v3
- Date: Thu, 22 Aug 2024 08:45:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 18:46:20.142656
- Title: GNN-SKAN: Harnessing the Power of SwallowKAN to Advance Molecular Representation Learning with GNNs
- Title(参考訳): GNN-SKAN:SwallowKANの力とGNNによる分子表現学習の促進
- Authors: Ruifeng Li, Mingqian Li, Wei Liu, Hongyang Chen,
- Abstract要約: 我々は、KAN(Kolmogorov-Arnold Networks)を統合したGNNの新しいクラスを導入する。
Kanは、その堅牢なデータ適合能力と、小規模AI + Scienceタスクの高精度で知られている。
本稿では,新たなクラスであるGNN-SKANと,その拡張型であるGNN-SKAN+を提案する。
- 参考スコア(独自算出の注目度): 19.019980841275366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective molecular representation learning is crucial for advancing molecular property prediction and drug design. Mainstream molecular representation learning approaches are based on Graph Neural Networks (GNNs). However, these approaches struggle with three significant challenges: insufficient annotations, molecular diversity, and architectural limitations such as over-squashing, which leads to the loss of critical structural details. To address these challenges, we introduce a new class of GNNs that integrates the Kolmogorov-Arnold Networks (KANs), known for their robust data-fitting capabilities and high accuracy in small-scale AI + Science tasks. By incorporating KANs into GNNs, our model enhances the representation of molecular structures. We further advance this approach with a variant called SwallowKAN (SKAN), which employs adaptive Radial Basis Functions (RBFs) as the core of the non-linear neurons. This innovation improves both computational efficiency and adaptability to diverse molecular structures. Building on the strengths of SKAN, we propose a new class of GNNs, GNN-SKAN, and its augmented variant, GNN-SKAN+, which incorporates a SKAN-based classifier to further boost performance. To our knowledge, this is the first work to integrate KANs into GNN architectures tailored for molecular representation learning. Experiments across 6 classification datasets, 6 regression datasets, and 4 few-shot learning datasets demonstrate that our approach achieves new state-of-the-art performance in terms of accuracy and computational cost.
- Abstract(参考訳): 効果的な分子表現学習は、分子特性予測と薬物設計の進歩に不可欠である。
メインストリームの分子表現学習アプローチはグラフニューラルネットワーク(GNN)に基づいている。
しかし、これらのアプローチは、不十分なアノテーション、分子多様性、過剰な監視のようなアーキテクチャ上の制限という3つの重要な課題に苦しむため、重要な構造的詳細が失われる。
これらの課題に対処するため、我々はKAN(Kolmogorov-Arnold Networks)を統合したGNNの新たなクラスを導入しました。
カンをGNNに組み込むことで,分子構造の表現が促進される。
我々はさらに、非線型ニューロンのコアとして適応的放射基底関数(RBF)を用いるSwaallowKAN(SKAN)と呼ばれる変種を用いてこのアプローチを進めた。
この革新は、計算効率と多様な分子構造への適応性の両方を改善する。
SKANの強みを生かして,新たなGNNクラスであるGNN-SKANと,その拡張型であるGNN-SKAN+を提案する。
我々の知る限り、分子表現学習に適したGNNアーキテクチャにKansを統合する最初の試みである。
6つの分類データセット、6つの回帰データセット、および4つの数ショットの学習データセットに対する実験は、我々のアプローチが精度と計算コストの観点から新しい最先端のパフォーマンスを達成することを示す。
関連論文リスト
- Demystifying Higher-Order Graph Neural Networks [18.4513263596122]
高階グラフニューラルネットワーク(HOGNN)は、GNNモデルの重要なクラスである。
我々は,HOGNNの詳細な分類と青図を設計する。
次に、分類学を用いて、利用可能なHOGNNモデルを分析し、比較します。
論文 参考訳(メタデータ) (2024-06-18T17:57:11Z) - Unleash Graph Neural Networks from Heavy Tuning [33.948899558876604]
グラフニューラルネットワーク(GNN)は、グラフ型データ用に設計されたディープラーニングアーキテクチャである。
本稿では,光チューニングされた粗い探索中に保存されたチェックポイントから学習することで,高性能なGNNを直接生成するグラフ条件付き潜時拡散フレームワーク(GNN-Diff)を提案する。
論文 参考訳(メタデータ) (2024-05-21T06:23:47Z) - A Simple and Yet Fairly Effective Defense for Graph Neural Networks [18.140756786259615]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ上での機械学習の主要なアプローチとして登場した。
既存の対向性摂動に対する防御法は、時間的複雑さに悩まされている。
本稿では,ノイズを基礎となるモデルのアーキテクチャに組み込む新しい防御手法であるNoisyGNNを紹介する。
論文 参考訳(メタデータ) (2024-02-21T18:16:48Z) - Unleashing the potential of GNNs via Bi-directional Knowledge Transfer [58.64807174714959]
Bi-directional Knowledge Transfer (BiKT) は、オリジナルのアーキテクチャを変更することなく、機能変換操作の可能性を解き放つためのプラグイン・アンド・プレイ方式である。
BiKTはオリジナルのGNNよりも0.5%-4%パフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-26T04:11:49Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。
GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。
本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
論文 参考訳(メタデータ) (2023-03-20T18:24:01Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳(メタデータ) (2022-12-18T08:17:32Z) - PyGFI: Analyzing and Enhancing Robustness of Graph Neural Networks
Against Hardware Errors [3.2780036095732035]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習において,有望な学習パラダイムとして登場した。
本稿では,ハードウェア故障とGNN精度の関係を理解することを目的とした,GNNレジリエンスの大規模かつ実証的研究を行う。
論文 参考訳(メタデータ) (2022-12-07T06:14:14Z) - Hybrid Graph Neural Networks for Few-Shot Learning [85.93495480949079]
グラフニューラルネットワーク(GNN)は、数発の学習問題に対処するために使用されている。
帰納的設定の下では、既存のGNNベースのメソッドは競争力が少ない。
本稿では2つのGNN(インスタンスGNNとプロトタイプGNN)からなる新しいハイブリッドGNNモデルを提案する。
論文 参考訳(メタデータ) (2021-12-13T10:20:15Z) - The Surprising Power of Graph Neural Networks with Random Node
Initialization [54.4101931234922]
グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。
標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。
本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。
我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
論文 参考訳(メタデータ) (2020-10-02T19:53:05Z) - Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
既存のGNNモデルの多くは浅く、本質的に機能中心である。
我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。
本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-08T02:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。