論文の概要: Transformers as Graph-to-Graph Models

• arxiv url: http://arxiv.org/abs/2310.17936v1
• Date: Fri, 27 Oct 2023 07:21:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 14:31:28.606262
• Title: Transformers as Graph-to-Graph Models
• Title（参考訳）: グラフ・グラフモデルとしてのトランスフォーマー
• Authors: James Henderson, Alireza Mohammadshahi, Andrei C. Coman, Lesly Miculicich
• Abstract要約: トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースに過ぎない、と我々は主張する。 我々のGraph-to-Graph Transformerアーキテクチャは,グラフエッジを注目重み計算に入力し,注目機能を備えたグラフエッジを予測することで,これを明確化する。
• 参考スコア（独自算出の注目度）: 13.630495199720423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We argue that Transformers are essentially graph-to-graph models, with sequences just being a special case. Attention weights are functionally equivalent to graph edges. Our Graph-to-Graph Transformer architecture makes this ability explicit, by inputting graph edges into the attention weight computations and predicting graph edges with attention-like functions, thereby integrating explicit graphs into the latent graphs learned by pretrained Transformers. Adding iterative graph refinement provides a joint embedding of input, output, and latent graphs, allowing non-autoregressive graph prediction to optimise the complete graph without any bespoke pipeline or decoding strategy. Empirical results show that this architecture achieves state-of-the-art accuracies for modelling a variety of linguistic structures, integrating very effectively with the latent linguistic representations learned by pretraining.
• Abstract（参考訳）: トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースである。 注意重みはグラフエッジと機能的に等価である。 我々のGraph-to-Graph Transformerアーキテクチャは、グラフエッジを注目重み計算に入力し、注意のような関数でグラフエッジを予測することにより、事前訓練されたトランスフォーマーが学習した潜時グラフに明示的なグラフを統合することで、これを明確化する。 反復グラフリファインメントを追加することで、入力、出力、潜伏グラフを共同で埋め込み、非自己回帰グラフ予測によって、パイプラインやデコード戦略を使わずに完全なグラフを最適化することができる。 経験的な結果から、このアーキテクチャは様々な言語構造をモデル化するための最先端の精度を実現し、事前学習によって学習された潜在言語表現と非常に効果的に統合できることが示されている。

関連論文リスト

• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• An Accurate Graph Generative Model with Tunable Features [0.8192907805418583]
  本稿では,グラフ特徴の誤りを返送する機構を新たに追加することで,GraphTuneの精度を向上させる手法を提案する。 実世界のグラフデータセットを用いて実験したところ、生成されたグラフの特徴は従来のモデルと比較して正確に調整されていることがわかった。
  論文  参考訳（メタデータ） (2023-09-03T12:34:15Z)
• Exphormer: Sparse Transformers for Graphs [5.055213942955148]
  パワフルでスケーラブルなグラフトランスフォーマーを構築するためのフレームワークであるExphormerを紹介します。 Exphormerは、様々なグラフデータセット上で、競争力のある実験結果を持つモデルを生成する。
  論文  参考訳（メタデータ） (2023-03-10T18:59:57Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Graph Self-Attention for learning graph representation with Transformer [13.49645012479288]
  本稿では,トランスフォーマーモデルでグラフ表現を学習するための新しいグラフ自己認識モジュールを提案する。 本稿では,クエリ,キー,グラフ情報の相互作用を考慮したコンテキスト認識型アテンションを提案する。 本手法は,グラフ表現学習の複数のベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-01-30T11:10:06Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• Learning Graphon Autoencoders for Generative Graph Modeling [91.32624399902755]
  Graphonは任意のサイズでグラフを生成する非パラメトリックモデルであり、グラフから簡単に誘導できる。 解析可能でスケーラブルなグラフ生成モデルを構築するために,textitgraphon autoencoder という新しいフレームワークを提案する。 線形グルーポン分解モデルはデコーダとして機能し、潜在表現を活用して誘導されたグルーポンを再構成する。
  論文  参考訳（メタデータ） (2021-05-29T08:11:40Z)
• Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
  局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
  論文  参考訳（メタデータ） (2020-12-31T18:17:57Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。