論文の概要: Transformers are efficient hierarchical chemical graph learners

• arxiv url: http://arxiv.org/abs/2310.01704v1
• Date: Mon, 2 Oct 2023 23:57:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 18:17:17.958360
• Title: Transformers are efficient hierarchical chemical graph learners
• Title（参考訳）: トランスフォーマーは効率的な階層的化学グラフ学習者である
• Authors: Zihan Pengmei, Zimu Li, Chih-chan Tien, Risi Kondor, Aaron R. Dinner
• Abstract要約: SubFormerは、メッセージパッシング機構によって情報を集約するサブグラフで動作するグラフトランスフォーマーである。 従来のグラフニューラルネットワークでは,SubFormerのオーバースムース化が制限され,オーバースキャッシングを回避することが示されている。
• 参考スコア（独自算出の注目度）: 7.074125287195362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers, adapted from natural language processing, are emerging as a leading approach for graph representation learning. Contemporary graph transformers often treat nodes or edges as separate tokens. This approach leads to computational challenges for even moderately-sized graphs due to the quadratic scaling of self-attention complexity with token count. In this paper, we introduce SubFormer, a graph transformer that operates on subgraphs that aggregate information by a message-passing mechanism. This approach reduces the number of tokens and enhances learning long-range interactions. We demonstrate SubFormer on benchmarks for predicting molecular properties from chemical structures and show that it is competitive with state-of-the-art graph transformers at a fraction of the computational cost, with training times on the order of minutes on a consumer-grade graphics card. We interpret the attention weights in terms of chemical structures. We show that SubFormer exhibits limited over-smoothing and avoids over-squashing, which is prevalent in traditional graph neural networks.
• Abstract（参考訳）: 自然言語処理から適応したトランスフォーマーが,グラフ表現学習の指導的アプローチとして登場している。 現代のグラフ変換器はノードやエッジを別々のトークンとして扱うことが多い。 このアプローチはトークン数による自己注意複雑性の2次スケーリングによる中等度グラフの計算上の問題を引き起こす。 本稿では,メッセージパッシング機構によって情報を集約するサブグラフ上で動作するグラフトランスフォーマーであるsubformerを提案する。 このアプローチはトークンの数を減らし、長距離インタラクションの学習を強化する。 化学構造から分子特性を予測するためのベンチマークでSubFormerを実証し、計算コストのごく一部で最先端のグラフ変換器と競合し、コンシューマグレードのグラフィックカード上で数分のトレーニング時間を持つことを示す。 我々は化学構造の観点から注意重みを解釈する。 従来のグラフニューラルネットワークでは,subformerが過剰スモーシングを制限し,過剰スケーシングを回避できることが示されている。

関連論文リスト

• Learning Graph Quantized Tokenizers for Transformers [28.79505338383552]
  グラフトランスフォーマー(GT)は、さまざまなグラフ学習タスクにおいて、グラフニューラルネットワーク(GNN)よりも優れた、ディープラーニングのリードモデルとして登場した。 GQT (textbfGraph textbfQuantized textbfTokenizer) を導入した。 GQTとトークン変調を組み合わせることで、Transformerエンコーダは18のベンチマークのうち16の最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-17T17:38:24Z)
• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• VCR-Graphormer: A Mini-batch Graph Transformer via Virtual Connections [45.27160435758666]
  本稿では,各ノードのトークンリストをバッチにロードすることで,グラフトランスフォーマーのミニバッチトレーニングを可能にすることを示す。 さらに、このPPRトークン化は、固定フィルタとジャンプ知識を備えたグラフ畳み込みネットワークとして有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-24T06:10:56Z)
• Transformers as Graph-to-Graph Models [13.630495199720423]
  トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースに過ぎない、と我々は主張する。 我々のGraph-to-Graph Transformerアーキテクチャは,グラフエッジを注目重み計算に入力し,注目機能を備えたグラフエッジを予測することで,これを明確化する。
  論文  参考訳（メタデータ） (2023-10-27T07:21:37Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
  現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。 ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。 本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-01T15:22:40Z)
• Attending to Graph Transformers [5.609943831664869]
  グラフのトランスフォーマーアーキテクチャは、グラフを用いた機械学習の確立した技術に代わるものとして登場した。 ここでは、グラフトランスフォーマーアーキテクチャの分類を導き、この新興分野に何らかの秩序をもたらす。 グラフ変換器は, グラフ特性の回復, ヘテロ親水性グラフの処理能力, 過度なスキャッシングを防ぐ程度について検討する。
  論文  参考訳（メタデータ） (2023-02-08T16:40:11Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。