論文の概要: A Survey on Structure-Preserving Graph Transformers

• arxiv url: http://arxiv.org/abs/2401.16176v1
• Date: Mon, 29 Jan 2024 14:18:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 14:41:54.400393
• Title: A Survey on Structure-Preserving Graph Transformers
• Title（参考訳）: 構造保存型グラフトランスの検討
• Authors: Van Thuy Hoang and O-Joun Lee
• Abstract要約: 本稿では, 構造保存グラフ変換器の概要を概観し, 設計目的の観点からそれらの手法を一般化する。 また、グラフ構造を保存し、グラフの性質を理解するためのグラフトランスフォーマーモデルの課題と今後の方向性についても論じる。
• 参考スコア（独自算出の注目度）: 2.5252594834159643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The transformer architecture has shown remarkable success in various domains, such as natural language processing and computer vision. When it comes to graph learning, transformers are required not only to capture the interactions between pairs of nodes but also to preserve graph structures connoting the underlying relations and proximity between them, showing the expressive power to capture different graph structures. Accordingly, various structure-preserving graph transformers have been proposed and widely used for various tasks, such as graph-level tasks in bioinformatics and chemoinformatics. However, strategies related to graph structure preservation have not been well organized and systematized in the literature. In this paper, we provide a comprehensive overview of structure-preserving graph transformers and generalize these methods from the perspective of their design objective. First, we divide strategies into four main groups: node feature modulation, context node sampling, graph rewriting, and transformer architecture improvements. We then further divide the strategies according to the coverage and goals of graph structure preservation. Furthermore, we also discuss challenges and future directions for graph transformer models to preserve the graph structure and understand the nature of graphs.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは、自然言語処理やコンピュータビジョンなど、様々な領域で顕著な成功を収めている。 グラフ学習に関して、トランスフォーマーはノードのペア間の相互作用をキャプチャするだけでなく、基礎となる関係とグラフ間の近接を示すグラフ構造を保存し、異なるグラフ構造をキャプチャする表現力を示すために必要である。 そのため, バイオインフォマティクスやケモインフォマティクスにおけるグラフレベルタスクなど, 様々なタスクに様々な構造保存グラフ変換器が提案され, 広く利用されている。 しかし, グラフ構造保存に関する戦略は, 十分に整理され, 体系化されていない。 本稿では,構造保存グラフトランスフォーマの包括的概要を提供し,それらの手法を設計目標の観点から一般化する。 まず、戦略を4つの主なグループに分割する: ノード特徴変調、コンテキストノードサンプリング、グラフ書き換え、トランスフォーマーアーキテクチャの改善。 次に、グラフ構造保存のカバレッジと目標に応じて戦略をさらに分割する。 さらに、グラフ構造を保存し、グラフの性質を理解するためのグラフトランスフォーマーモデルの課題と今後の方向性についても論じる。

関連論文リスト

• Graph Transformers: A Survey [15.68583521879617]
  グラフトランスフォーマーは機械学習の最近の進歩であり、グラフ構造化データのためのニューラルネットワークモデルの新たなクラスを提供する。 この調査は、グラフトランスフォーマー研究における最近の進歩と課題について、詳細なレビューを提供する。
  論文  参考訳（メタデータ） (2024-07-13T05:15:24Z)
• Topology-Informed Graph Transformer [7.857955053895979]
  グラフアイソモーフィズムの検出における識別力とグラフ変換器全体の性能を両立させる新しい変換器である「トポロジーインフォーマグラフ変換器(TIGT)」について検討した。 TIGTは4つの構成要素から構成される: 非同型普遍被覆を用いた位相的位置埋め込み層はグラフの巡回部分グラフに基づいて一意なグラフ表現を保証する。 TIGTは、グラフの同型クラスを識別することを目的とした合成データセットの分類において、従来のグラフ変換器よりも優れている。
  論文  参考訳（メタデータ） (2024-02-03T03:17:44Z)
• Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation [153.92387500677023]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。 また,グラフ表現学習のための自己指導型事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:36:38Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Adaptive Multi-Neighborhood Attention based Transformer for Graph Representation Learning [11.407118196728943]
  我々は、MNA-GT(Multi-Neighhood Attention based Graph Transformer)と呼ばれる適応グラフ変換器を提案する。 MNA-GTは、複数の隣り合う注意機構から各ノードのグラフ構造情報を適応的にキャプチャする。 様々なグラフベンチマークで実験を行い、MNA-GTが強いベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-11-15T08:12:44Z)
• Hierarchical Graph Transformer with Adaptive Node Sampling [19.45896788055167]
  現在のグラフ変換器の主な欠陥を同定する。 ほとんどのサンプリング戦略は、近隣にのみ焦点をあて、グラフ内の長距離依存を無視している。 本稿では,グラフ粗化を用いた階層型アテンション方式を提案する。
  論文  参考訳（メタデータ） (2022-10-08T05:53:25Z)
• Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
  グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。 まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。 本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
  論文  参考訳（メタデータ） (2022-02-17T06:02:06Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• GraphOpt: Learning Optimization Models of Graph Formation [72.75384705298303]
  本稿では,グラフ構造形成の暗黙的モデルを学ぶエンドツーエンドフレームワークを提案し,その基盤となる最適化機構を明らかにする。 学習した目的は、観測されたグラフプロパティの説明として機能し、ドメイン内の異なるグラフを渡すために自分自身を貸すことができる。 GraphOptは、グラフ内のリンク生成をシーケンシャルな意思決定プロセスとして、最大エントロピー逆強化学習アルゴリズムを用いて解決する。
  論文  参考訳（メタデータ） (2020-07-07T16:51:39Z)
• Bridging Knowledge Graphs to Generate Scene Graphs [49.69377653925448]
  本稿では,2つのグラフ間の情報伝達を反復的に行う新しいグラフベースニューラルネットワークを提案する。 我々のグラフブリッジネットワークであるGB-Netは、エッジとノードを連続的に推論し、相互接続されたシーンとコモンセンスグラフのリッチでヘテロジニアスな構造を同時に活用し、洗練する。
  論文  参考訳（メタデータ） (2020-01-07T23:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。