論文の概要: Learning Graph Structure With A Finite-State Automaton Layer
- arxiv url: http://arxiv.org/abs/2007.04929v2
- Date: Fri, 6 Nov 2020 18:26:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 03:41:58.002531
- Title: Learning Graph Structure With A Finite-State Automaton Layer
- Title（参考訳）: 有限状態オートマトン層を用いたグラフ構造学習
- Authors: Daniel D. Johnson, Hugo Larochelle, Daniel Tarlow
- Abstract要約: 本研究は,本質的なグラフ構造から抽象的関係を導出する学習の課題について考察する。
この問題を緩和して有限状態オートマトンポリシーを学習することで、これらの関係をエンドツーエンドで学習する方法を示す。
我々は,このレイヤがグリッドワールドグラフのショートカットを見つけ,Pythonプログラム上で単純な静的解析を再現できることを実証した。
- 参考スコア（独自算出の注目度）: 31.028101360041227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph-based neural network models are producing strong results in a number of
domains, in part because graphs provide flexibility to encode domain knowledge
in the form of relational structure (edges) between nodes in the graph. In
practice, edges are used both to represent intrinsic structure (e.g., abstract
syntax trees of programs) and more abstract relations that aid reasoning for a
downstream task (e.g., results of relevant program analyses). In this work, we
study the problem of learning to derive abstract relations from the intrinsic
graph structure. Motivated by their power in program analyses, we consider
relations defined by paths on the base graph accepted by a finite-state
automaton. We show how to learn these relations end-to-end by relaxing the
problem into learning finite-state automata policies on a graph-based POMDP and
then training these policies using implicit differentiation. The result is a
differentiable Graph Finite-State Automaton (GFSA) layer that adds a new edge
type (expressed as a weighted adjacency matrix) to a base graph. We demonstrate
that this layer can find shortcuts in grid-world graphs and reproduce simple
static analyses on Python programs. Additionally, we combine the GFSA layer
with a larger graph-based model trained end-to-end on the variable misuse
program understanding task, and find that using the GFSA layer leads to better
performance than using hand-engineered semantic edges or other baseline methods
for adding learned edge types.
- Abstract（参考訳）: グラフベースのニューラルネットワークモデルは、グラフ内のノード間の関係構造(エッジ)という形式でドメイン知識をエンコードする柔軟性を提供するため、多くのドメインで強い結果をもたらしています。
実際には、エッジは本質的な構造(例えば、プログラムの抽象構文木)と、下流タスクの推論を支援するより抽象的な関係(例えば、関連するプログラム分析の結果)の両方に使用される。
本研究では,本質的グラフ構造から抽象関係を導出する学習の問題について検討する。
プログラム解析におけるそれらの力により、有限状態オートマトンによって受け入れられる基底グラフ上の経路によって定義される関係を考える。
グラフベースのPOMDP上で有限状態オートマトンポリシーを学習し、暗黙の微分を用いてこれらのポリシーを訓練することにより、これらの関係をエンドツーエンドで学習する方法を示す。
その結果、微分可能なグラフ有限状態オートマトン(GFSA)層が、新しいエッジタイプ(重み付き隣接行列として表現される)をベースグラフに追加する。
我々は、この層がグリッドワールドグラフのショートカットを見つけ、pythonプログラムで単純な静的解析を再現できることを実証する。
さらに,可変誤用プログラム理解タスクにおいて,gfsa 層を大規模グラフベースモデルと組み合わせることで,学習エッジ型を追加するためのハンドエンジニアリングセマンティクスエッジや他のベースラインメソッドを使用するよりも,gfsa 層の利用が優れたパフォーマンスをもたらすことを見出した。
関連論文リスト
- SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。
本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。
また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
論文 参考訳（メタデータ） (2024-04-21T13:11:59Z) - GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。
既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。
グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
論文 参考訳（メタデータ） (2024-02-23T08:29:42Z) - HUGE: Huge Unsupervised Graph Embeddings with TPUs [6.108914274067702]
グラフ埋め込み(Graph Embedding)は、グラフ内のノードを連続的に表現するプロセスである。
高帯域幅メモリを利用した高性能グラフ埋め込みアーキテクチャを提案する。
実・合成大規模データセット上での埋め込み空間の品質を検証する。
論文 参考訳（メタデータ） (2023-07-26T20:29:15Z) - GRATIS: Deep Learning Graph Representation with Task-specific Topology
and Multi-dimensional Edge Features [27.84193444151138]
第1次汎用グラフ表現学習フレームワーク(GRATIS)を提案する。
任意の入力からタスク固有のトポロジーとタスク固有の多次元エッジ特徴を持つ強力なグラフ表現を生成することができる。
私たちのフレームワークは効率的で堅牢で柔軟性があり、異なるバックボーンとグラフニューラルネットワーク(GNN)を組み合わせたプラグイン・アンド・プレイモジュールです。
論文 参考訳（メタデータ） (2022-11-19T18:42:55Z) - Explanation Graph Generation via Pre-trained Language Models: An
Empirical Study with Contrastive Learning [84.35102534158621]
エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討する。
本稿では,ノードとエッジの編集操作によるグラフ摂動の簡易かつ効果的な方法を提案する。
提案手法は,説明グラフの構造的精度と意味的精度を両立させる。
論文 参考訳（メタデータ） (2022-04-11T00:58:27Z) - Representing Long-Range Context for Graph Neural Networks with Global
Attention [37.212747564546156]
本稿では,トランスフォーマーに基づく自己認識を用いて,長距離ペア関係の学習を提案する。
提案手法はGraphTransと呼ばれ,標準のGNNモジュールに代えて置換不変なTransformerモジュールを適用している。
その結果,グラフ構造を持たない純粋学習に基づくアプローチは,グラフ上の高レベルな長距離関係を学習するのに適している可能性が示唆された。
論文 参考訳（メタデータ） (2022-01-21T18:16:21Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳（メタデータ） (2022-01-17T11:57:29Z) - Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。
CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。
提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文 参考訳（メタデータ） (2020-10-25T22:39:31Z) - Improving Graph Neural Network Expressivity via Subgraph Isomorphism
Counting [63.04999833264299]
グラフサブストラクチャネットワーク(GSN)は,サブストラクチャエンコーディングに基づくトポロジ的に認識可能なメッセージパッシング方式である。
Wesfeiler-Leman (WL) グラフ同型テストよりも厳密に表現可能であることを示す。
グラフ分類と回帰タスクについて広範囲に評価を行い、様々な実世界の環境において最先端の結果を得る。
論文 参考訳（メタデータ） (2020-06-16T15:30:31Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳（メタデータ） (2020-03-15T02:33:21Z) - Unsupervised Graph Embedding via Adaptive Graph Learning [85.28555417981063]
グラフオートエンコーダ(GAE)は、グラフ埋め込みのための表現学習において強力なツールである。
本稿では,2つの新しい教師なしグラフ埋め込み法,適応グラフ学習(BAGE)による教師なしグラフ埋め込み,変分適応グラフ学習(VBAGE)による教師なしグラフ埋め込みを提案する。
いくつかのデータセットに関する実験的研究により、我々の手法がノードクラスタリング、ノード分類、グラフ可視化タスクにおいて、ベースラインよりも優れていることが実証された。
論文 参考訳（メタデータ） (2020-03-10T02:33:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。