論文の概要: Graph Self-Attention for learning graph representation with Transformer

• arxiv url: http://arxiv.org/abs/2201.12787v1
• Date: Sun, 30 Jan 2022 11:10:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 15:15:45.998003
• Title: Graph Self-Attention for learning graph representation with Transformer
• Title（参考訳）: Transformerを用いたグラフ表現学習のためのグラフ自己認識
• Authors: Wonpyo Park, Woonggi Chang, Donggeon Lee, Juntae Kim
• Abstract要約: 本稿では,トランスフォーマーモデルでグラフ表現を学習するための新しいグラフ自己認識モジュールを提案する。 本稿では,クエリ,キー,グラフ情報の相互作用を考慮したコンテキスト認識型アテンションを提案する。 本手法は,グラフ表現学習の複数のベンチマークにおいて,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 13.49645012479288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel Graph Self-Attention module to enable Transformer models to learn graph representation. We aim to incorporate graph information, on the attention map and hidden representations of Transformer. To this end, we propose context-aware attention which considers the interactions between query, key and graph information. Moreover, we propose graph-embedded value to encode the graph information on the hidden representation. Our extensive experiments and ablation studies validate that our method successfully encodes graph representation on Transformer architecture. Finally, our method achieves state-of-the-art performance on multiple benchmarks of graph representation learning, such as graph classification on images and molecules to graph regression on quantum chemistry.
• Abstract（参考訳）: トランスフォーマーモデルがグラフ表現を学習できるようにする新しいグラフ自己アテンションモジュールを提案する。 グラフ情報,注意マップ,トランスフォーマーの隠れ表現を組み込むことを目標としている。 そこで本研究では,問合せ,キー,グラフ情報の相互作用を考慮した文脈対応注意を提案する。 さらに,グラフ情報を隠れた表現にエンコードするために,グラフ埋め込み値を提案する。 本研究では,Transformer アーキテクチャ上でのグラフ表現の符号化に成功していることを示す。 最後に,画像のグラフ分類や量子化学のグラフ回帰のための分子など,グラフ表現学習の複数のベンチマークにおいて,最先端のパフォーマンスを実現する。

関連論文リスト

• Transformers as Graph-to-Graph Models [13.630495199720423]
  トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースに過ぎない、と我々は主張する。 我々のGraph-to-Graph Transformerアーキテクチャは,グラフエッジを注目重み計算に入力し,注目機能を備えたグラフエッジを予測することで,これを明確化する。
  論文  参考訳（メタデータ） (2023-10-27T07:21:37Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Graph Propagation Transformer for Graph Representation Learning [32.77379936182841]
  グラフ伝搬注意(GPA)と呼ばれる新しい注意機構を提案する。 ノード・ツー・ノード、ノード・ツー・エッジ、エッジ・ツー・ノードという3つの方法で、ノードとエッジ間で明示的に情報を渡す。 提案手法は,多くの最先端のトランスフォーマーベースグラフモデルよりも優れた性能を有することを示す。
  論文  参考訳（メタデータ） (2023-05-19T04:42:58Z)
• Attending to Graph Transformers [5.609943831664869]
  グラフのトランスフォーマーアーキテクチャは、グラフを用いた機械学習の確立した技術に代わるものとして登場した。 ここでは、グラフトランスフォーマーアーキテクチャの分類を導き、この新興分野に何らかの秩序をもたらす。 グラフ変換器は, グラフ特性の回復, ヘテロ親水性グラフの処理能力, 過度なスキャッシングを防ぐ程度について検討する。
  論文  参考訳（メタデータ） (2023-02-08T16:40:11Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
  グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。 まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。 本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
  論文  参考訳（メタデータ） (2022-02-17T06:02:06Z)
• Bootstrapping Informative Graph Augmentation via A Meta Learning Approach [21.814940639910358]
  グラフコントラスト学習では、ベンチマーク手法は様々なグラフ拡張アプローチを適用する。 拡張法のほとんどは学習不可能であり、不便な拡張グラフを生成する問題を引き起こす。 私たちはMEGA(Meta Graph Augmentation)と呼ばれる学習可能なグラフオーグメンタによるグラフ生成を動機付けている。
  論文  参考訳（メタデータ） (2022-01-11T07:15:13Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• A Graph VAE and Graph Transformer Approach to Generating Molecular Graphs [1.6631602844999724]
  グラフ畳み込み層とグラフプーリング層をフル活用した変分オートエンコーダとトランスベースモデルを提案する。 トランスモデルは新しいノードエンコーディング層を実装し、一般的にトランスフォーマーで使用される位置エンコーディングを置き換え、グラフ上で動く位置情報を持たないトランスフォーマーを生成する。 実験では、生成ノードとエッジの両方の重要性を考慮して、分子生成のベンチマークタスクを選択しました。
  論文  参考訳（メタデータ） (2021-04-09T13:13:06Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)
• GraphOpt: Learning Optimization Models of Graph Formation [72.75384705298303]
  本稿では,グラフ構造形成の暗黙的モデルを学ぶエンドツーエンドフレームワークを提案し,その基盤となる最適化機構を明らかにする。 学習した目的は、観測されたグラフプロパティの説明として機能し、ドメイン内の異なるグラフを渡すために自分自身を貸すことができる。 GraphOptは、グラフ内のリンク生成をシーケンシャルな意思決定プロセスとして、最大エントロピー逆強化学習アルゴリズムを用いて解決する。
  論文  参考訳（メタデータ） (2020-07-07T16:51:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。