論文の概要: Best of Both Worlds: Advantages of Hybrid Graph Sequence Models

• arxiv url: http://arxiv.org/abs/2411.15671v1
• Date: Sat, 23 Nov 2024 23:24:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:18:36.557024
• Title: Best of Both Worlds: Advantages of Hybrid Graph Sequence Models
• Title（参考訳）: 両世界のベスト:ハイブリッドグラフシーケンスモデルのアドバンテージ
• Authors: Ali Behrouz, Ali Parviz, Mahdi Karami, Clayton Sanford, Bryan Perozzi, Vahab Mirrokni,
• Abstract要約: グラフ上での学習にグラフシーケンスモデルを採用するための統一フレームワークを提案する。 本稿では,グローバルおよびローカルなグラフタスクのレンズを用いて,トランスフォーマーと現代のリカレントモデルの表現能力を評価する。 GSM++は階層的親和性クラスタリング(HAC)アルゴリズムを用いてグラフを階層的シーケンスにトークン化する高速ハイブリッドモデルである。
• 参考スコア（独自算出の注目度）: 20.564009321626198
• License:
• Abstract: Modern sequence models (e.g., Transformers, linear RNNs, etc.) emerged as dominant backbones of recent deep learning frameworks, mainly due to their efficiency, representational power, and/or ability to capture long-range dependencies. Adopting these sequence models for graph-structured data has recently gained popularity as the alternative to Message Passing Neural Networks (MPNNs). There is, however, a lack of a common foundation about what constitutes a good graph sequence model, and a mathematical description of the benefits and deficiencies in adopting different sequence models for learning on graphs. To this end, we first present Graph Sequence Model (GSM), a unifying framework for adopting sequence models for graphs, consisting of three main steps: (1) Tokenization, which translates the graph into a set of sequences; (2) Local Encoding, which encodes local neighborhoods around each node; and (3) Global Encoding, which employs a scalable sequence model to capture long-range dependencies within the sequences. This framework allows us to understand, evaluate, and compare the power of different sequence model backbones in graph tasks. Our theoretical evaluations of the representation power of Transformers and modern recurrent models through the lens of global and local graph tasks show that there are both negative and positive sides for both types of models. Building on this observation, we present GSM++, a fast hybrid model that uses the Hierarchical Affinity Clustering (HAC) algorithm to tokenize the graph into hierarchical sequences, and then employs a hybrid architecture of Transformer to encode these sequences. Our theoretical and experimental results support the design of GSM++, showing that GSM++ outperforms baselines in most benchmark evaluations.
• Abstract（参考訳）: 現代のシーケンスモデル(例えば、トランスフォーマー、線形RNNなど)は、その効率性、表現力、および/または長距離依存関係をキャプチャする能力によって、最近のディープラーニングフレームワークの主要なバックボーンとして登場した。 グラフ構造化データに対するこれらのシーケンスモデルの採用は、最近、メッセージパッシングニューラルネットワーク(MPNN)に代わるものとして人気を集めている。 しかし、優れたグラフシーケンスモデルを構成するものに関する共通基盤が欠如しており、グラフ上での学習に異なるシーケンスモデルを採用する際の利点と欠点の数学的記述が欠けている。 この目的のために、まず、グラフのシーケンスモデルを採用するための統一フレームワークであるグラフシーケンスモデル(GSM)を、(1)グラフを一連のシーケンスに変換するTokenization、(2)各ノードのローカル近傍を符号化するLocal Encoding、(3)拡張性のあるシーケンスモデルを用いてシーケンス内の長距離依存関係をキャプチャするGSMを提示する。 このフレームワークにより、グラフタスクにおける異なるシーケンスモデルのバックボーンのパワーを理解し、評価し、比較することができます。 大域的および局所的なグラフタスクのレンズによるトランスフォーマーと現代のリカレントモデルの表現力に関する理論的評価は、どちらのモデルにも負の側面と正の側面があることを示している。 この観測に基づいて,階層的親和性クラスタリング(HAC)アルゴリズムを用いてグラフを階層的シーケンスにトークン化し,それらのシーケンスをエンコードするためにTransformerのハイブリッドアーキテクチャを用いる高速ハイブリッドモデルGSM++を提案する。 我々の理論的および実験的結果はGSM++の設計を支持し、ほとんどのベンチマーク評価においてGSM++がベースラインを上回っていることを示している。

関連論文リスト

• Learning Long Range Dependencies on Graphs via Random Walks [6.7864586321550595]
  メッセージパッシンググラフニューラルネットワーク(GNN)は、局所的な関係を捉えるのに優れているが、グラフの長距離依存に苦慮している。 グラフ変換器(GT)はグローバルな情報交換を可能にするが、グラフを固定長ベクトルの集合として表現することでグラフ構造を単純化することが多い。 この研究は、ランダムウォークの長距離情報とローカルメッセージパッシングを組み合わせることによって、両方のアプローチの欠点を克服する新しいアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2024-06-05T15:36:57Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• HiGen: Hierarchical Graph Generative Networks [2.3931689873603603]
  ほとんどの実世界のグラフは階層構造を示しており、しばしば既存のグラフ生成法で見過ごされる。 本稿では,グラフの階層的な性質を捉え,グラフのサブ構造を粗い方法で連続的に生成するグラフ生成ネットワークを提案する。 このモジュラーアプローチは、大規模で複雑なグラフに対してスケーラブルなグラフ生成を可能にする。
  論文  参考訳（メタデータ） (2023-05-30T18:04:12Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Deformable Graph Transformer [31.254872949603982]
  本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。 実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-29T00:23:25Z)
• GraphDCA -- a Framework for Node Distribution Comparison in Real and Synthetic Graphs [72.51835626235368]
  2つのグラフを比較するとき、ノード構造的特徴の分布は、グローバルグラフ統計よりも有益である、と我々は主張する。 本稿では,各ノード表現セットのアライメントに基づいてグラフ間の類似性を評価するフレームワークGraphDCAを提案する。
  論文  参考訳（メタデータ） (2022-02-08T14:19:19Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)
• Analyzing Unaligned Multimodal Sequence via Graph Convolution and Graph Pooling Fusion [28.077474663199062]
  本稿では,マルチモーダルシーケンシャルデータモデリングにおけるグラフニューラルネットワーク(GNN)の有効性を検討するために,マルチモーダルグラフと呼ばれる新しいモデルを提案する。 グラフベースのモデルは、2つのベンチマークデータセット上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2020-11-27T06:12:14Z)
• Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
  グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。 本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。 単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。 本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2020-01-28T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。